Decodificávela bem financiado engenharia de dados em tempo real e plataforma de processamento de fluxo baseada, em parte, no Apache Flink projeto de código aberto, está lançando hoje uma grande atualização que visa tornar o serviço mais atraente para grandes empresas. Além de expandir sua biblioteca de conectores para permitir a ingestão de dados de mais fontes e uma nova opção de suporte empresarial, o destaque aqui é o lançamento de seus recursos automatizados de dimensionamento de tarefas. Graças a isso, o Decodable agora pode configurar dinamicamente as cargas de trabalho conforme necessário para otimizar o desempenho e o custo.
Como o fundador e CEO da Decodable, Eric Sammer, me disse, ele acredita que, embora o processamento de fluxo em si esteja rapidamente se tornando popular – com o Apache Flink se tornando o padrão de fato – o que acontece ainda não é muito comum, em parte porque até agora, apenas empresas com equipes de engenharia altamente sofisticadas, foram capazes de construir com base nessa tecnologia.
“A analogia em que penso são os switches de rede”, explicou ele. “Podemos mover pacotes para frente e para trás. A próxima iteração disso – a parte que eu não acho que seja totalmente mainstream ainda – é a capacidade de processamento em cima disso – a capacidade de transformar e agregar. O que eu acho que teríamos chamado de análise de streaming 10 anos atrás.”
Créditos da imagem: Decodificável
Empresas como Lyft, Uber ou Stripe são capazes de criar essa camada de abstrações de nível empresarial sobre esses fluxos de dados em tempo real. Outros, ele argumenta, precisam de uma ferramenta como o Decodable para fazer isso, especialmente se quiserem criar aplicativos voltados para o consumidor.
“Streaming é uma peça de tecnologia”, ele também observou. “É uma coleção de Debezium mais Kafka ou Redpanda ou qualquer outra coisa – mais Flink, mais APIs e todos esses outros tipos de coisas. E é um custo proibitivo montar uma equipe e operacionalizá-la. É aí que agregamos valor. E é por isso que nos concentramos na experiência do desenvolvedor e nos recursos empresariais e de autoatendimento.”
Quanto ao novo recurso de dimensionamento de tarefas, Sammer observou que os usuários podem informar ao serviço quantas tarefas desejam dedicar a uma determinada carga de trabalho. O Decodable então aumentará para esse número máximo de tarefas – ou reduzirá, se necessário. Para muitos usuários, isso pode resultar em gastos mais baixos em geral. E embora isso também possa significar que eles não gastarão tanto com o Decodable, Sammer acredita que, se a empresa puder tornar o processamento de fluxo mais fácil e econômico para seus usuários, esses usuários trarão mais cargas de trabalho para o serviço. “Existem poucos casos em que você não gostaria de dados mais atualizados e precisos – ou ser capaz de tomar uma decisão melhor em tempo real”, disse ele. “Portanto, dessa perspectiva, toda vez que tornamos mais barato para alguém executar uma carga de trabalho no Decodable, eles adicionam mais cargas de trabalho.”