Fonte de dados fora do catálogo? Veja como conectar sem esperar roadmap de fornecedor
O Custom Connector da Erathos conecta APIs customizadas ou fontes fora do catálogo ao seu data warehouse, com build e sync automáticos via GitHub.
O problema de precisar de um conector que não existe
Todo catálogo de conector tem um limite. Em algum momento, o time de dados precisa de uma fonte que não está lá: uma ferramenta interna sem nenhuma API pública documentada, ou um fornecedor de nicho pequeno demais para qualquer plataforma de ingestão priorizar.
As opções até agora eram três, e nenhuma é boa. Esperar o conector entrar no roadmap de um fornecedor, sem prazo e sem prioridade garantida. Montar a ingestão inteira por fora, com toda a manutenção que isso implica: paginação, rate limit, schema evolution, backfill, alertas, tudo isso reconstruído do zero e sustentado pelo próprio time para sempre. Ou aceitar uma plataforma tudo em um só porque ela promete cobrir aquele caso específico, abrindo mão do resto do stack.
O pior cenário não muda: é o pipeline caseiro que funciona bem no primeiro mês e vira projeto de manutenção permanente no sexto.
O que é o Custom Connector
O Custom Connector permite apontar a Erathos para um repositório GitHub com o código do seu próprio conector. A Erathos builda esse código, mantém sincronizado a cada push, e lista o resultado no catálogo do seu workspace com um badge Custom, ao lado dos conectores nativos.
Não é ingestão "faça você mesmo". É a lógica de extração escrita uma vez, no seu repositório, rodando dentro da mesma infraestrutura que já cuida de agendamento, sincronização incremental, observabilidade e alertas para qualquer conector nativo da Erathos.
Como funciona
Instale o GitHub App da Erathos na conta ou organização dona do código do conector.
Informe à Erathos qual repositório observar.
Cada push no repositório observado reconstrói a imagem do conector automaticamente.
Depois do primeiro build bem-sucedido, o conector aparece no catálogo de datasources com o badge Custom, e a conexão é configurada como em qualquer conector padrão.
Pré-requisitos
Acesso de administrador na conta ou organização do GitHub dona do repositório a ser observado.
Um repositório contendo um projeto de conector Erathos válido, seguindo o guia de desenvolvimento.
Por que isso não é ingestão feita na mão
Escrever a lógica de extração não significa herdar o resto do trabalho operacional de novo:
Build e sync automáticos. Cada push no repositório observado reconstrói e sincroniza o conector, sem pipeline de deploy paralelo para manter.
Sincronização incremental por padrão. O mesmo motor que roda para conectores nativos roda para o conector customizado.
Observabilidade e alertas de fábrica. Tempo de execução, volume de registros e contexto de erro visíveis para cada sync, com webhooks alertas automáticos por email, Slack ou Discord.
O time escreve a integração com a fonte. A Erathos continua responsável por tudo o que acontece depois disso rodar em produção.
Comece agora
Crie sua conta na Erathos e conecte seu próprio SaaS ou uma fonte fora do catálogo em poucos passos. Depois que o primeiro build passa, a Erathos cuida do resto: agendamento, sincronização incremental, alertas e observabilidade, como em qualquer conector nativo.
Ferramenta interna sem conector pronto no mercado não deveria significar escolher entre esperar o roadmap de um fornecedor ou montar toda a infraestrutura de ingestão do zero.
Veja o guia completo de desenvolvimento de conector e a documentação em docs.erathos.com/connectors/custom-connectors.
O problema de precisar de um conector que não existe
Todo catálogo de conector tem um limite. Em algum momento, o time de dados precisa de uma fonte que não está lá: uma ferramenta interna sem nenhuma API pública documentada, ou um fornecedor de nicho pequeno demais para qualquer plataforma de ingestão priorizar.
As opções até agora eram três, e nenhuma é boa. Esperar o conector entrar no roadmap de um fornecedor, sem prazo e sem prioridade garantida. Montar a ingestão inteira por fora, com toda a manutenção que isso implica: paginação, rate limit, schema evolution, backfill, alertas, tudo isso reconstruído do zero e sustentado pelo próprio time para sempre. Ou aceitar uma plataforma tudo em um só porque ela promete cobrir aquele caso específico, abrindo mão do resto do stack.
O pior cenário não muda: é o pipeline caseiro que funciona bem no primeiro mês e vira projeto de manutenção permanente no sexto.
O que é o Custom Connector
O Custom Connector permite apontar a Erathos para um repositório GitHub com o código do seu próprio conector. A Erathos builda esse código, mantém sincronizado a cada push, e lista o resultado no catálogo do seu workspace com um badge Custom, ao lado dos conectores nativos.
Não é ingestão "faça você mesmo". É a lógica de extração escrita uma vez, no seu repositório, rodando dentro da mesma infraestrutura que já cuida de agendamento, sincronização incremental, observabilidade e alertas para qualquer conector nativo da Erathos.
Como funciona
Instale o GitHub App da Erathos na conta ou organização dona do código do conector.
Informe à Erathos qual repositório observar.
Cada push no repositório observado reconstrói a imagem do conector automaticamente.
Depois do primeiro build bem-sucedido, o conector aparece no catálogo de datasources com o badge Custom, e a conexão é configurada como em qualquer conector padrão.
Pré-requisitos
Acesso de administrador na conta ou organização do GitHub dona do repositório a ser observado.
Um repositório contendo um projeto de conector Erathos válido, seguindo o guia de desenvolvimento.
Por que isso não é ingestão feita na mão
Escrever a lógica de extração não significa herdar o resto do trabalho operacional de novo:
Build e sync automáticos. Cada push no repositório observado reconstrói e sincroniza o conector, sem pipeline de deploy paralelo para manter.
Sincronização incremental por padrão. O mesmo motor que roda para conectores nativos roda para o conector customizado.
Observabilidade e alertas de fábrica. Tempo de execução, volume de registros e contexto de erro visíveis para cada sync, com webhooks alertas automáticos por email, Slack ou Discord.
O time escreve a integração com a fonte. A Erathos continua responsável por tudo o que acontece depois disso rodar em produção.
Comece agora
Crie sua conta na Erathos e conecte seu próprio SaaS ou uma fonte fora do catálogo em poucos passos. Depois que o primeiro build passa, a Erathos cuida do resto: agendamento, sincronização incremental, alertas e observabilidade, como em qualquer conector nativo.
Ferramenta interna sem conector pronto no mercado não deveria significar escolher entre esperar o roadmap de um fornecedor ou montar toda a infraestrutura de ingestão do zero.
Veja o guia completo de desenvolvimento de conector e a documentação em docs.erathos.com/connectors/custom-connectors.