Testando etapas do pipeline com asserções

Um fluxo de dados que é executado sem erros ainda pode produzir uma saída incorreta sem emitir avisos: linhas removidas pelo filtro errado, uma coluna multiplicada pelo fator incorreto ou uma mesclagem que duplica linhas porque a chave de junção não era exclusiva. A única forma de detectar essas falhas silenciosas é incorporar asserções que verifiquem as propriedades esperadas dos dados em cada etapa do fluxo de dados. As asserções transformam erros lógicos em erros evidentes e imediatamente visíveis.

Após cada etapa de filtragem, verifique por asserção se a quantidade resultante de linhas está dentro do intervalo esperado. Poucas linhas demais indicam que o filtro foi agressivo em excesso; linhas demais indicam que uma junção duplicou registros. Expresse o intervalo esperado como uma fração da entrada: por exemplo, em dados íntegros, uma etapa de remoção de valores nulos nunca deve remover mais de 30% das linhas. Essa proteção detecta alterações inesperadas na qualidade dos dados das fontes upstream.

Verifique por asserção se todas as colunas de saída esperadas existem após cada função de transformação. Se uma etapa de renomeação usar acidentalmente a chave errada, a coluna resultante ficará ausente — e o erro só aparecerá muito mais tarde, quando outra etapa tentar usá-la. Uma asserção logo após a transformação identifica o problema na origem, em vez de três etapas depois, com um KeyError confuso.

Depois de calcular uma coluna de receita, verifique por asserção se ela não contém valores negativos. Depois de analisar datas, verifique por asserção se elas estão dentro do intervalo de anos esperado. Depois de codificar categorias, verifique por asserção se não aparecem códigos inesperados. Cada asserção é um contrato de dados que documenta o comportamento esperado e detecta violações antecipadamente. Escreva-as como asserções, e não como instruções de impressão, para que gerem erros em execuções automatizadas do fluxo de dados.

Um erro comum em dados é uma mesclagem muitos-para-muitos que multiplica linhas acidentalmente. Após cada pd.merge(), verifique por asserção se a quantidade de linhas é a esperada — normalmente, se não excedeu a quantidade de linhas do DataFrame esquerdo em uma junção à esquerda. Verifique também se a coluna-chave é exclusiva quando deveria ser, para detectar imediatamente junções cruzadas acidentais.

Determinadas colunas nunca devem conter valores nulos em nenhum ponto do fluxo de dados. Verifique df['key_col'].notna().all() após cada etapa que possa introduzir valores nulos acidentalmente — como uma mesclagem que não consegue corresponder a algumas linhas (produzindo NaN nas colunas mescladas) ou uma chamada a map() que retorna NaN para valores não mapeados. Faça dessas as duas últimas linhas de toda função de transformação que manipule essas colunas.

Escreva testes unitários para cada função do fluxo de dados usando pequenos DataFrames criados manualmente, que isolem a lógica sendo testada. Cada teste deve: preparar uma entrada mínima, chamar a função e verificar por asserção as propriedades da saída. Usar o assert integrado ao Python é suficiente para fluxos de dados simples; em projetos maiores, use pytest para executar todos os testes automaticamente antes da implantação.

Bons testes abrangem não apenas o caminho esperado, mas também casos extremos: entrada totalmente nula, DataFrame vazio, DataFrame com uma única linha e colunas com valores extremos. Um DataFrame vazio deve retornar um DataFrame vazio, não um erro. Um DataFrame com uma única linha deve calcular o resultado correto. Teste esses casos explicitamente para garantir que o fluxo de dados os trate adequadamente em produção quando chegarem dados incomuns.

Além dos testes unitários de funções individuais, escreva um teste de integração que execute o fluxo de dados completo em uma pequena amostra representativa de dados reais. Verifique por asserção se a saída tem a quantidade esperada de colunas, se a coluna-chave é exclusiva e se a receita total está dentro de um intervalo plausível. Essa verificação de ponta a ponta detecta erros na interação entre as etapas que os testes unitários não revelam.

À medida que o fluxo de dados cresce, reúna todos os testes em um diretório tests/ e execute-os com pytest pela linha de comando. Um arquivo conftest.py pode criar elementos de teste compartilhados, como DataFrames de exemplo. Integre o pytest ao seu fluxo de dados de CI/CD para que toda alteração no código execute automaticamente todos os testes antes da implantação. Um teste com falha bloqueia a implantação e impede que código defeituoso chegue à produção.

Cada asserção no fluxo de dados é tanto uma proteção quanto uma forma de documentação: ela declara, em formato legível por máquina, como os dados devem estar naquele ponto. Quando um novo analista entra no projeto e lê o código do fluxo de dados, as asserções informam os contratos de dados sem exigir um documento de especificação separado. Trate cada asserção como trataria um comentário — torne a mensagem descritiva o suficiente para permitir a compreensão da regra de negócio que ela impõe.

Teste sua compreensão dos conceitos de Análise de Dados desta lição.

Nesta lição, você aprendeu a: incorporar verificações da quantidade de linhas, da existência de colunas, do intervalo de valores e de valores nulos como asserções no fluxo de dados, escrever testes unitários para funções de transformação individuais, abrangendo casos extremos e executar testes de integração e tratar asserções como documentação viva dos contratos de dados. A seguir, exploraremos o agendamento e o registro das execuções do fluxo de dados para permitir a execução diária automatizada.