Análise univariada

A análise univariada examina uma coluna por vez, de forma isolada, ignorando as relações entre colunas. O objetivo é compreender a distribuição de cada variável, detectar valores atípicos, identificar assimetria e encontrar problemas de qualidade dos dados antes do início de qualquer modelagem. A análise univariada é diferente para colunas numéricas e categóricas: as numéricas precisam de gráficos de distribuição e estatísticas resumidas, enquanto as categóricas precisam de contagens de frequência e proporções.

Trace um histograma para cada coluna numérica para visualizar o formato de sua distribuição. Procure simetria versus assimetria (cauda de um dos lados), modalidade (um pico versus vários) e anomalias evidentes (valores nas extremidades que parecem implausíveis). No Pandas, df.hist() cria rapidamente uma grade de histogramas para várias colunas sem que seja necessário escrever um laço, mas o Seaborn histplot oferece um controle mais preciso para colunas individuais.

Para cada coluna numérica, calcule e compare mean e median. Quando mean > median de forma significativa, a distribuição apresenta assimetria à direita (cauda longa à direita, comum em dados de renda e preços). Quando mean < median, ela apresenta assimetria à esquerda. Verifique também o desvio padrão em relação à média: um std maior que a média em uma variável não negativa indica alta variabilidade ou valores atípicos. Calcule a assimetria diretamente com df.skew().

Os gráficos de caixa são a ferramenta visual mais rápida para identificar valores atípicos em colunas numéricas. Qualquer ponto além dos bigodes (1.5×IQR a partir de Q1 ou Q3) é plotado individualmente e sinalizado como possível valor atípico. Uma coluna com muitos pontos atípicos merece investigação: eles são erros de entrada de dados, valores extremos legítimos ou evidências de uma distribuição não normal? Os gráficos de caixa também revelam assimetria à direita ou à esquerda pela posição assimétrica da mediana dentro da caixa.

O método IQR (amplitude interquartil) define como valores atípicos os valores abaixo de Q1 - 1.5×IQR ou acima de Q3 + 1.5×IQR. Você pode fazer esse cálculo por meio de código para contar e inspecionar os valores atípicos de cada coluna numérica sem gerar gráficos. Isso é útil em pipelines automatizados nos quais é necessário registrar as contagens de anomalias em vez de gerar gráficos. Decidir o que fazer com os valores atípicos — removê-los, limitá-los ou sinalizá-los — deve ser uma escolha deliberada, orientada pelo conhecimento do domínio.

Para cada coluna categórica, chame value_counts() para ver como as observações se distribuem entre as categorias. Verifique sempre: alguma categoria isolada domina (>80%)? Isso causa desbalanceamento de classes em tarefas de classificação. Existem categorias raras com apenas 1 ou 2 observações (erros de digitação ou de entrada de dados)? A distribuição corresponde às expectativas do negócio (por exemplo, uma coluna de “país” que mostra a maioria dos pedidos vindo de um país inesperado)?

Visualize as contagens de valores categóricos em gráficos de barras usando sns.countplot ou chamando value_counts().plot(kind='bar'). Ordene as barras da categoria mais para a menos frequente para que a pessoa que visualiza possa identificar imediatamente as categorias dominantes. Para variáveis binárias (sim/não, masculino/feminino), um gráfico de pizza é aceitável, mas, para mais de 3 categorias, os gráficos de barras são sempre mais claros. Gire os rótulos das marcações em 45 graus quando os nomes das categorias forem longos.

Colunas numéricas com forte assimetria à direita (assimetria > 1.5) costumam se beneficiar de uma transformação logarítmica para se tornarem mais simétricas. Isso é importante para muitos testes estatísticos e para alguns algoritmos de aprendizado de máquina que pressupõem normalidade. Aplique np.log1p() (log(x+1), seguro para valores próximos de zero) e verifique novamente a assimetria. Compare os histogramas antes e depois para confirmar que a distribuição ficou mais parecida com um sino.

Uma coluna com variância zero (todos os valores são idênticos) não fornece nenhuma informação a qualquer modelo e deve ser removida. Uma coluna com variância próxima de zero (99% das linhas têm o mesmo valor) é igualmente inútil. Calcule a variância com df.var() e filtre as colunas. Verifique também as colunas em que nunique() == len(df) — elas provavelmente são colunas de ID que não devem ser usadas como características, mas podem ser úteis como identificadores de linhas.

Em vez de repetir manualmente a mesma análise para cada coluna, escreva um laço que percorra todas as colunas numéricas e mostre as principais estatísticas em um formato estruturado. Isso facilita a análise rápida de dezenas de colunas e a sinalização daquelas que precisam de atenção. A saída pode ser salva em um arquivo CSV como parte de um registro de auditoria do pipeline que as partes interessadas podem revisar antes de os dados serem usados na modelagem.

Depois de concluir a análise univariada, documente suas descobertas de forma sistemática. Para cada coluna, registre: o formato da distribuição (assimétrica, bimodal, aproximadamente normal), a porcentagem de valores ausentes e a estratégia de imputação planejada, a contagem de valores atípicos e a decisão tomada (limitar, remover ou sinalizar), além de quaisquer valores suspeitos que exijam esclarecimento sobre o domínio. Essa documentação se torna o registro de qualidade dos dados que orienta as etapas de limpeza e evita que decisões sejam esquecidas ou contestadas posteriormente.

Nesta lição, você aprendeu: os histogramas revelam o formato da distribuição das colunas numéricas; os gráficos de caixa e os limites baseados em IQR identificam valores atípicos; e value_counts revela a frequência das categorias em colunas categóricas. Automatizar essas verificações em um laço cria um relatório de qualidade reutilizável. A seguir, vamos explorar a análise bivariada e de correlação — compreendendo as relações entre pares de colunas.