Observabilidade real. Controle de verdade.
O Summer Release 2026 da Erathos traz novas funcionalidades para operar pipelines de ingestão de dados com mais visibilidade e controle em ambientes de produção.
Assista ao vídeo para conhecer todas as novidades.
Observabilidade
À medida que a operação de dados cresce, saber apenas que um pipeline foi executado com sucesso deixa de ser suficiente. Times de dados precisam entender como os pipelines se comportam ao longo do tempo, identificar padrões de instabilidade e investigar execuções específicas quando algo muda.
Para atender essa necessidade, o Summer Release introduz duas novas visões operacionais: All Jobs e All Runs. Juntas, essas visões oferecem observabilidade sobre a ingestão de dados tanto no nível do job quanto no nível da execução.
All Jobs + Job Detail
A tela All Jobs oferece uma visão centralizada de todos os pipelines de ingestão no ambiente.
Em vez de navegar conector por conector, os times podem acessar um painel consolidado onde todos os jobs estão visíveis em um único lugar. Isso facilita o monitoramento da saúde operacional e a identificação de possíveis problemas na camada de ingestão.
A interface permite customizar as colunas exibidas, possibilitando que cada time adapte a visualização às métricas operacionais mais relevantes para sua rotina.
O histórico de execuções também é exibido diretamente na tabela, permitindo identificar rapidamente padrões de instabilidade ou mudanças de comportamento.
Ao selecionar um job específico, o usuário acessa a visão de Job Detail, que fornece contexto adicional sobre o pipeline.
No Job Detail, é possível analisar:
histórico de execuções
saúde e estabilidade do job
detalhes de configuração
comportamento do pipeline ao longo do tempo
Isso torna os pipelines de ingestão significativamente mais fáceis de monitorar e investigar em ambientes de
produção.
All Runs + Run Detail
Enquanto a visão All Jobs fornece observabilidade no nível do pipeline, a tela All Runs oferece visibilidade sobre cada execução individual.
Essa interface apresenta uma lista cronológica de todas as execuções de ingestão, permitindo analisar o comportamento operacional ao longo do tempo. Times de dados podem identificar rapidamente execuções fora do padrão ou investigar eventos específicos ao depurar problemas.
Cada execução pode ser analisada com mais profundidade através da visão Run Detail.
No Run Detail, é possível visualizar o contexto completo de uma execução, incluindo:
momento da execução
duração total
número de requisições realizadas na API
ocorrência de retries
se a execução foi incremental ou um full refresh
qual cursor foi utilizado durante a extração
Em vez de tratar execuções como simples logs, a Erathos passa a expô-las como eventos operacionais estruturados que podem ser analisados e investigados.
Controle
Observabilidade é apenas uma parte da operação de pipelines em produção. Times de dados também precisam ter a capacidade de ajustar o comportamento dos pipelines quando sistemas de origem mudam ou quando a operação exige adaptações.
APIs mudam, schemas evoluem e necessidades de negócio frequentemente exigem reprocessamento de dados. Quando essas situações ocorrem, os times precisam de controles operacionais precisos em vez de depender apenas de comportamentos padrão das ferramentas.
O Summer Release introduz novas capacidades que oferecem maior controle sobre como os pipelines de ingestão são executados.
Custom Run
Quando algo muda nos sistemas de origem, muitas ferramentas de ingestão exigem a execução de um full refresh para recuperar os dados. No entanto, essa abordagem geralmente é desnecessária e pode gerar carga adicional ou complexidade operacional.
Com Custom Run, os times podem editar o cursor utilizado na execução do pipeline e reprocessar apenas o intervalo específico de dados que precisa ser atualizado.
Essa funcionalidade é especialmente útil em cenários como:
reprocessar um período específico de dados
recuperar registros afetados por mudanças de schema
corrigir dados após exclusões no sistema de origem
corrigir inconsistências identificadas posteriormente
Ao permitir reprocessamentos direcionados, o Custom Run possibilita resolver problemas com muito mais precisão, sem a necessidade de reiniciar todo o pipeline de ingestão.
Retry & Buffer Strategy
Fontes de dados nem sempre se comportam de forma consistente. Algumas APIs são altamente estáveis, enquanto outras podem retornar erros ocasionais devido a rate limits, indisponibilidades temporárias ou limitações de infraestrutura.
A maioria das ferramentas de ingestão aplica uma estratégia fixa de retry para todos os pipelines. No entanto, pipelines diferentes frequentemente possuem requisitos operacionais e níveis de criticidade distintos.
Com a nova Retry & Buffer Strategy, os times podem configurar o comportamento de retry de acordo com as características de cada fonte.
As configurações de retry podem ser definidas em dois níveis:
nível de conexão, aplicado a todos os pipelines que utilizam uma determinada fonte
nível de job, permitindo que pipelines específicos tenham comportamento próprio
Os times podem definir:
o número de tentativas antes de uma execução falhar
o multiplicador de backoff, que determina o tempo de espera entre cada tentativa
Essa flexibilidade permite adaptar o comportamento da ingestão às características reais de cada sistema de origem, em vez de depender de uma configuração fixa.