Detecção e tratamento de valores discrepantes

Um valor atípico é um ponto de dados que difere substancialmente do restante do conjunto de dados. Valores atípicos podem ser genuínos (um único cliente empresarial com um pedido de US$ 500.000 em um conjunto de dados cujos pedidos têm valor médio de US$ 100) ou estar incorretos (um preço negativo ou um erro de digitação que transformou 120 em 12.000). O primeiro passo no tratamento de valores atípicos é decidir se o valor extremo é real e relevante ou se é um problema de qualidade dos dados — o tratamento difere muito entre esses dois casos.

Um gráfico de caixa é a ferramenta visual mais rápida para identificar valores atípicos. A caixa abrange o intervalo interquartil (IQR, Q1–Q3), os bigodes se estendem até 1,5× IQR e os pontos fora dos bigodes são plotados individualmente como possíveis valores atípicos. Use df['revenue'].plot(kind='box') ou sns.boxplot() do Seaborn para visualizar imediatamente os valores atípicos, sem calcular os limites manualmente.

O método dos limites do IQR calcula o intervalo interquartil e define os limites em Q1 − 1,5×IQR e Q3 + 1,5×IQR. Valores fora desses limites são sinalizados como atípicos. O multiplicador 1,5 é o padrão para valores atípicos moderados; use 3,0 somente para valores atípicos extremos. Esse método é robusto: ao contrário dos escores Z, não pressupõe uma distribuição normal.

O escore Z mede quantos desvios padrão um valor está distante da média. Convencionalmente, um valor com |Z| > 3 é considerado atípico, abrangendo 99,7% dos dados normalmente distribuídos. No entanto, os escores Z são sensíveis aos próprios valores atípicos que tentam detectar — valores extremos deslocam a média e aumentam o desvio padrão, podendo ocultar outros valores atípicos.

Nunca remova valores atípicos sem documentar e justificar a decisão. Em vez disso, primeiro sinalize-os com uma coluna booleana (is_outlier) e depois analise se eles compartilham algum padrão (mesma região, mesmo produto, mesmo dia). Se forem genuínos, mantenha-os e modele-os explicitamente. Se forem erros, remova-os e registre a quantidade removida no histórico de auditoria do pipeline.

Limitar (ou aplicar winsorização) substitui os valores que ultrapassam os limites pelo próprio valor do limite, em vez de remover a linha. Isso preserva todas as linhas do conjunto de dados e reduz a distorção causada pelos valores atípicos em modelos lineares e estatísticas resumidas. Use clip(lower=, upper=) para aplicar os limites em uma única operação vetorizada.

As distribuições de receita e preço costumam ser assimétricas à direita, com uma cauda longa de valores altos. Aplicar uma transformação logarítmica com np.log1p() (logaritmo do valor + 1, para lidar com zeros) comprime a cauda e torna a distribuição mais simétrica. Muitos modelos estatísticos e visualizações pressupõem normalidade; por isso, aplicar uma transformação logarítmica à coluna de receita antes da modelagem costuma melhorar os resultados.

Ao analisar muitas colunas de uma só vez, calcule programaticamente os limites de valores atípicos do IQR para todas as colunas numéricas. Percorra as colunas numéricas, calcule os limites e armazene os resultados em um dicionário. Assim, você pode gerar um relatório completo de valores atípicos em poucas linhas, em vez de repetir manualmente o cálculo do IQR para cada coluna.

Alguns pontos só são atípicos quando considerados em conjunto: um preço unitário de US$ 10 é normal, uma quantidade de 500 é incomum, mas não impossível; já um preço unitário de US$ 10 com uma quantidade de 500 para um item de luxo é suspeito. Valores atípicos bivariados aparecem como pontos isolados em gráficos de dispersão. Use df.plot.scatter('quantity', 'unit_price') para identificar pontos distantes do agrupamento principal.

Toda decisão sobre valores atípicos deve ser registrada: a coluna, o método de detecção, o limite usado, a quantidade de linhas sinalizadas e o tratamento aplicado (manter, limitar ou remover). Essa documentação protege o analista em revisões de código e auditorias. Armazene-a em um dicionário de registro de limpeza, salvo junto ao conjunto de dados de saída.

Depois de sinalizar e tratar os valores atípicos, salve o DataFrame atualizado. Mantenha a coluna de sinalização is_outlier na saída, para que os usuários posteriores possam optar por excluir as linhas sinalizadas em análises específicas. Salve a versão limitada em uma coluna com um sufixo claro (_capped) junto à original, para que a limpeza possa ser revertida.

Teste sua compreensão dos conceitos de Análise de Dados desta lição.

Nesta lição, você aprendeu: detectar valores atípicos com os limites do IQR e escores Z, decidir se deve sinalizar, limitar ou remover valores atípicos e aplicar transformações logarítmicas a distribuições assimétricas à direita. A seguir, exploraremos a padronização de rótulos de categorias inconsistentes em colunas de texto.