Métodos e Técnicas de Coleta de Dados

Toda análise começa com o mesmo problema. Alguém precisa ir buscar os dados. Um estudante escrevendo uma tese faz entrevistas. Um time de saúde pública envia um questionário. Um time de dados copia linhas de um CRM para um warehouse em uma programação. Os três estão coletando dados, e as escolhas que fazem nessa etapa decidem o que a análise pode dizer depois.

Este guia cobre primeiro os métodos clássicos de pesquisa (surveys, entrevistas, grupos focais, observação, experimentos, revisão de documentos), com os trade-offs de fontes de metodologia. Depois cobre como organizações coletam dados dos próprios sistemas hoje, e a etapa separada de mover esses dados para algum lugar onde você consegue consultá-los.

Quais são os métodos e técnicas de coleta de dados?

Coleta de dados é o processo sistemático de reunir observações ou medições de uma fonte definida. Um método é a abordagem (um survey, uma entrevista, um feed de sensor). Uma técnica ou instrumento é a ferramenta específica que faz a captura (o questionário, o roteiro de entrevista, o script de rastreamento).

As fontes das quais você pode coletar são pessoas, documentos, sistemas de negócio, sites, experimentos, sensores, ou conjuntos de dados existentes. Guias de metodologia organizam métodos ao longo de dois eixos antes de listar qualquer um deles. O primeiro eixo é a origem: se você coleta os dados você mesmo ou reutiliza dados que outra pessoa coletou. O segundo é a forma: se os dados saem como números ou como palavras.

Esses dois eixos importam mais do que qualquer lista fixa. Guias diferentes contam quatro, cinco ou sete "tipos", e não há uma lista universal única. O que permanece constante é o par de perguntas por trás deles.

Quais são os quatro tipos de técnicas de coleta de dados?

Os quatro tipos são primária quantitativa, primária qualitativa, secundária quantitativa e secundária qualitativa. Eles vêm de cruzar duas perguntas: de onde vêm os dados (você os coleta, ou alguém já coletou) e que forma eles têm (números ou palavras).

Coleta de dados primária acontece quando pesquisadores obtêm informação diretamente das fontes originais. Coleta secundária reutiliza informação reunida por uma pesquisa anterior ou por outro sistema. Dados quantitativos são expressos em números e analisados com métodos estatísticos. Dados qualitativos são expressos em palavras e analisados através de interpretação e categorização.

O mesmo método pode cair em mais de uma célula. Um survey com caixas de texto aberto produz dados qualitativos. Observação pode produzir contagens (quantitativo) ou notas de campo (qualitativo) dependendo de como você a projeta. Então o tipo descreve os dados com que você termina, e o método descreve como você os conseguiu.

Quais são cinco métodos de coletar dados?

Cinco métodos comuns são surveys, entrevistas, grupos focais, observação e revisão de documentos. Experimentos e etnografia completam os sete que você vê em cursos de métodos de pesquisa. Experimentos são o único método do grupo construído para testar uma relação causal.

O grupo focal ideal tem de 8 a 10 pessoas, o suficiente para uma discussão rica enquanto todo mundo ainda consegue falar. Entrevistas geralmente rendem dados mais ricos do que surveys, mas levam mais tempo para conduzir e analisar. Observação registra o que as pessoas fazem no comportamento cotidiano delas, em vez de depender do que elas lembram ou de como se percebem.

Revisão de documentos cobre mais do que relatórios escritos. Documentos incluem relatórios, políticas, registros, filmes, fotografias, notas de reunião e checklists. Revisá-los pode rastrear como as visões de uma instituição mudaram ao longo do tempo, ou dar contexto a achados de uma entrevista ou survey. A National Science Foundation recomenda uma abordagem de método misto, e revisão de documentos é uma forma barata de adicionar um segundo método a um estudo.

Como organizações coletam dados em escala hoje?

Organizações coletam dados automaticamente de sistemas de negócio, sites, apps, APIs, arquivos enviados e sensores. Os métodos de pesquisa acima ainda se aplicam (um survey de clientes ainda é um survey), mas o volume vem de sistemas que registram eventos como efeito colateral de fazer seu trabalho normal.

O número de dispositivos IoT conectados alcançou 18,5 bilhões em 2024! Essa contagem inclui só dispositivos e gateways ativos, então sensores finais atrás de um gateway ficam de fora. IoT aqui significa "Internet of Things", dispositivos físicos que reportam medições por uma rede.

A divisão entre primário e secundário aparece aqui também. Comprar um conjunto de dados de um fornecedor é coleta secundária. Instrumentar seu próprio produto ou robôs é coleta primária. Brett Adcock, fundador da Figure, descreveu a mudança de dados comprados que eram escassos e de baixa qualidade para construir seu próprio pipeline de coleta para treinamento de robôs.

A mesma regra de qualidade da pesquisa metodológica vale para a coleta automatizada. Coleta de alta qualidade é difícil, e poucos pesquisadores de IA são treinados em métodos de coleta, o que é o motivo de metodologistas de survey argumentarem que sua área pode melhorar como os dados de treinamento são coletados. Um script de rastreamento com uma definição de evento vaga é o primo operacional de uma pergunta de survey mal formulada.

Qual é a diferença entre coleta de dados e ingestão de dados?

Coleta captura informação na sua fonte. Ingestão move essa informação para um banco de dados, warehouse, lake, ou outro sistema para armazenamento e processamento. Um formulário de survey coleta. O pipeline que carrega as respostas no BigQuery ingere.

A maior parte da ingestão hoje segue o padrão ELT: extract, load, transform. Os dados brutos são copiados para o warehouse primeiro, e a limpeza e a modelagem acontecem lá com SQL. Isso mantém a cópia bruta por perto, para que você possa rodar uma transformação de novo depois sem voltar à fonte.

Um pipeline na Erathos é todo o caminho entre uma das suas ferramentas e o seu warehouse: extração, agendamento e carga. Você escolhe as tabelas, a frequência e o tipo de atualização. Cada execução registra o tempo de execução, linhas processadas, e erros com contexto, e envia um alerta no Slack ou por e-mail quando algo falha.

Batch, baseado em cursor, ou Change Data Capture

O tipo de atualização decide o que o pipeline consegue capturar. Uma sincronização em batch copia a tabela inteira em cada execução. Uma sincronização baseada em cursor olha para uma coluna como updated_at, armazena o maior valor que viu, e na próxima execução puxa só as linhas acima dele. Barato, mas uma linha deletada não tem updated_at para encontrar, então as deleções ficam no warehouse para sempre. E se uma linha mudou três vezes entre execuções, o cursor só armazena o último valor.

Change Data Capture (CDC) lê o próprio log de transações do banco de dados em vez de consultar a tabela. No PostgreSQL, esse log é o WAL (Write-Ahead Log), onde o banco de dados registra inserts, updates e deletes em ordem antes de aplicá-los. Como um delete é uma entrada no log, o CDC o captura. A entrega para o warehouse ainda pode rodar como um batch agendado. O CDC muda o que é capturado, e a programação de batch ainda decide com que frequência isso é enviado.

CDC no PostgreSQL precisa de quatro configurações no banco de dados de origem:

As três primeiras precisam de um restart do banco de dados. A última suporta hot reload. Por padrão, um update ou delete no PostgreSQL só registra a chave primária no log, então as tabelas que você captura também precisam ter sua replica identity definida como FULL para carregar o estado completo de antes e depois de cada linha.

Dois modos de snapshot controlam a primeira execução. O modo initial tira um snapshot completo da tabela, depois faz streaming das mudanças que vêm a seguir a partir do WAL. O modo no_data pula o snapshot e faz streaming só das mudanças já disponíveis no WAL. Para fontes fora do catálogo embutido, um conector customizado é um repositório do GitHub que a Erathos observa. Todo push reconstrói a imagem do conector, e ele aparece no catálogo de fontes com um selo Custom.

Sincronização baseada em cursor ainda serve bem para tabelas pequenas com uma coluna de atualização confiável, sem deleções físicas, e a necessidade de só o estado mais recente. CDC compensa em tabelas grandes, tabelas com deleções reais, e casos onde você precisa do histórico completo de cada linha.

Como você escolhe o método certo de coleta de dados?

A pergunta que você precisa responder decide a forma dos dados, a fonte e o instrumento que se encaixam nela. A escolha depende da pergunta de pesquisa, do tipo de dado necessário, e dos recursos e tempo disponíveis.

Um checklist tirado dos guias de metodologia acima:

1. Escreva a pergunta. "Por que os usuários cancelam" aponta para entrevistas. "Quantos usuários cancelam por mês" aponta para uma consulta em banco de dados ou um survey.
2. Escolha a forma do dado. Números para medir quanto ou quantos, palavras para entender o porquê.
3. Escolha a fonte. Verifique se o dado já existe (secundário) antes de coletá-lo (primário).
4. Defina a população e a amostra. Quem pode responder, e como você os alcança.
5. Construa e faça um piloto do instrumento. Um questionário, um roteiro de entrevista, um checklist, ou um plano de rastreamento com eventos nomeados.
6. Planeje-se para o viés. Viés de autorrelato em surveys, vozes dominantes em grupos focais, nomes de evento inconsistentes em rastreamento.
7. Trate consentimento, confidencialidade e anonimização para qualquer dado sobre pessoas.
8. Decida para onde os dados vão e como chegam lá.

Sobre amostragem, uma taxa de resposta alta ou baixa diz pouco sobre a qualidade dos dados por si só. Taxas de resposta de survey não se relacionam bem com viés de não resposta, embora o padrão das taxas ao longo do tempo possa dizer algo sobre o processo. Surveys federais dos EUA com uma taxa de resposta unitária abaixo de 80% precisam rodar uma análise de viés de não resposta. Para efeito de escala, a taxa de resposta de unidades habitacionais da American Community Survey foi de 82,9% em 2024. Uma taxa baixa é um sinal para verificar quem não respondeu, e uma taxa alta ainda deixa essa pergunta em aberto.

Para fontes automatizadas, o passo 6 significa definições compartilhadas para clientes, datas, eventos, produtos e métricas entre os sistemas que você combina. Para o passo 8, um pipeline gerenciado substitui scripts escritos à mão. O guia de pipeline cobre as verificações de qualidade de dados e o agendamento que vêm junto.

Resumo

• Métodos de coleta de dados se organizam em dois eixos: primário ou secundário, quantitativo ou qualitativo.
• Surveys, entrevistas, grupos focais, observação, experimentos e revisão de documentos cobrem a maioria das perguntas de pesquisa, e combinar dois deles é a recomendação padrão.
• Organizações coletam em escala a partir de bancos de dados, rastreamento de eventos, logs, APIs, arquivos e sensores.
• Coleta captura dados na fonte. Ingestão os move para um warehouse, e o tipo de atualização (batch, cursor, CDC) decide se deleções e mudanças intermediárias sobrevivem à viagem.

Se a metade de ingestão é a parte em que você está trabalhando, você pode experimentar a Erathos grátis por 14 dias e conectar uma tabela PostgreSQL com CDC ao seu warehouse.