ETL e conectores

O ETL clássico extrai os dados, transforma-os em um servidor externo e depois carrega o resultado limpo. Os armazéns modernos invertem as duas últimas etapas: o ELT extrai e carrega primeiro os dados brutos e depois os transforma dentro do armazém usando SQL.

O ELT vence porque a computação do armazém é barata e elástica. Você mantém os dados brutos para sempre, pode transformá-los novamente quando a lógica de negócio mudar e nunca perde detalhes por causa de uma limpeza prematura.

Um conector é o mecanismo de EL: ele se autentica na API de uma fonte, busca registros conforme uma programação e grava-os em tabelas do armazém que correspondem ao esquema da fonte. Ele lida com paginação, limites de taxa, novas tentativas e alterações no esquema para que você não precise escrever códigos frágeis.

Os conectores gerenciados transformam uma semana de integração de APIs em alguns cliques para configurar o OAuth e a frequência de sincronização.

Várias plataformas se especializam em conectores de marketing prontos. Fivetran e Airbyte são ferramentas gerais de EL com centenas de fontes. Funnel, Supermetrics e Adverity se concentram especificamente em dados de marketing e anúncios.

A contrapartida: as ferramentas gerenciadas custam dinheiro, geralmente por linha ou por fonte ativa, mas economizam tempo de engenharia e se recuperam automaticamente quando as APIs mudam. Para APIs de anúncios voláteis, essa confiabilidade vale muito.

A maioria das fontes de marketing se autentica com OAuth 2.0: você concede ao conector acesso com escopo definido e revogável sem compartilhar uma senha. O conector armazena um token de atualização e renova o acesso silenciosamente.

Observe a expiração do token e os escopos de permissão. Uma falha comum ocorre quando o profissional de marketing que configurou a conexão deixa a empresa, revoga a concessão do OAuth e interrompe silenciosamente todas as sincronizações posteriores.

Uma carga completa busca novamente todos os registros a cada sincronização: é simples, mas cara e lenta em grande escala. Uma carga incremental busca apenas os registros alterados desde a última sincronização, usando um cursor como o carimbo de data e hora updated_at.

A maioria dos fluxos de dados de produção usa sincronizações incrementais para lidar com o volume e atualizações completas periódicas para detectar exclusões e correções. Escolher o cursor corretamente é a diferença entre dados atualizados e lacunas silenciosas.

As APIs de origem mudam sem aviso: uma plataforma renomeia um campo, adiciona uma coluna ou altera um tipo de dado. Isso é deriva do esquema e pode quebrar silenciosamente os modelos e painéis posteriores.

Bons conectores detectam automaticamente novas colunas e as adicionam, registram alterações de tipo e alertam sobre alterações incompatíveis. Ainda assim, sua camada de transformação deve ser testada para que a deriva apareça como um teste com falha, e não como um número incorreto no painel do CEO.

Quão atualizados precisam estar os dados de marketing? Dados diários são suficientes para relatórios de gastos; dados durante o dia são importantes para acompanhar o ritmo de campanhas ativas. Sincronizações mais frequentes significam custos maiores do conector e do armazém.

Ajuste a frequência à decisão. Um painel de acompanhamento do orçamento pode ser sincronizado a cada hora, enquanto um modelo de coorte de LTV atualizado mensalmente precisa apenas de uma carga noturna. Não pague por uma atualidade que ninguém utiliza.

Os conectores devem gravar os dados em um esquema bruto dedicado, sem alterações e somente com acréscimos. Nunca permita que analistas ou ferramentas de BI consultem diretamente as tabelas brutas e nunca transforme os dados no próprio lugar.

A zona bruta é o seu seguro: se uma transformação tiver um erro ou a lógica de negócio mudar, você poderá reprocessar os dados brutos sem buscá-los novamente nas APIs. Trate-a como o sistema imutável de registro.

O fluxo de dados também pode funcionar ao contrário. O ETL reverso sincroniza dados modelados do armazém de volta para ferramentas operacionais: envia um segmento de LTV calculado para a Meta, a fim de criar um público semelhante, ou uma pontuação de cancelamento para o Salesforce.

Isso fecha o ciclo. O armazém deixa de ser um beco sem saída de relatórios e se torna o cérebro que alimenta uma segmentação e uma personalização mais inteligentes nos canais.

Você pode escrever seus próprios extratores em Python para cada API, com controle total e sem taxas por linha. Mas então será responsável pela renovação da autenticação, pelos limites de taxa, pela paginação, pela deriva do esquema e pelo suporte de plantão quando uma API mudar às 2h.

A maioria das equipes compra conectores gerenciados para fontes padrão e cria soluções próprias apenas para sistemas específicos ou proprietários. O tempo de engenharia costuma ser mais escasso que o orçamento para assinaturas de conectores.

Uma falha silenciosa no fluxo de dados é pior que uma falha explícita, porque as pessoas continuam confiando em painéis desatualizados. O EL em produção precisa de monitoramento: alertas de sucesso da sincronização, verificações de atualidade e detecção de anomalias na contagem de linhas.

Defina SLAs de atualidade, por exemplo, os gastos com anúncios não podem ter mais de 24 horas, e alerte quando forem violados. A confiança nos dados é construída ao saber o momento em que eles ficam desatualizados, não ao descobrir isso em uma reunião.

A computação do seu armazém é barata e elástica, e você quer preservar todos os detalhes da fonte para poder remodelá-los quando a lógica de negócio mudar. Qual padrão de carga é adequado e onde as transformações devem ocorrer?

Os conectores são o mecanismo de EL que se autentica nas fontes, lida com sincronizações incrementais e deriva do esquema e deposita os dados brutos em uma zona imutável. Ferramentas gerenciadas como Fivetran, Airbyte e Supermetrics trocam o custo da assinatura por confiabilidade.

As pilhas modernas priorizam o ELT, transformando os dados dentro do armazém, incluem ETL reverso para enviar informações de volta aos canais e tratam o monitoramento dos fluxos de dados e os SLAs de atualidade como essenciais, não opcionais.