Estatísticas descritivas e teste de normalidade

A estatística descritiva resume o que está presente nos seus dados: média, mediana, desvio padrão e assimetria. A estatística inferencial faz afirmações sobre uma população com base em uma amostra: testes de hipóteses, intervalos de confiança e valores de p. O módulo scipy.stats do SciPy conecta esses dois mundos — ele oferece tanto medidas descritivas que vão além de describe() do Pandas quanto o conjunto completo de testes clássicos de hipóteses. Combinar Pandas para manipulação de dados e SciPy para testes estatísticos é o fluxo de trabalho padrão da ciência de dados em Python.

describe() do Pandas fornece contagem, média, std, mínimo/máximo e quartis. scipy.stats acrescenta a assimetria (falta de simetria da distribuição) e a curtose (peso das caudas). Uma assimetria igual a 0 significa que a distribuição é simétrica; uma assimetria positiva significa uma cauda direita mais longa (muitos valores pequenos e poucos valores muito grandes). Uma curtose igual a 3 (ou 0 na forma de excesso) é normal; valores maiores indicam caudas mais pesadas, com mais valores extremos do que uma distribuição normal produziria.

A assimetria é importante para escolher testes estatísticos e transformações. Uma distribuição assimétrica à direita (assimetria positiva) tem média maior que a mediana, algo típico de dados de renda, tempos de reação e valores de vendas. Uma distribuição assimétrica à esquerda (assimetria negativa) tem média menor que a mediana. Regra prática: |assimetria| < 0.5 indica uma distribuição aproximadamente simétrica; 0.5–1.0 indica assimetria moderada; > 1.0 indica assimetria elevada e pode justificar uma transformação logarítmica ou de raiz quadrada antes da aplicação de testes que pressuponham normalidade.

Muitos testes estatísticos — testes t, ANOVA e correlação de Pearson — pressupõem que os dados (ou os resíduos) seguem uma distribuição normal (gaussiana). Se essa suposição for violada em amostras pequenas, os valores de p do teste poderão ser imprecisos. O teste de normalidade verifica se essa suposição é válida. Em amostras grandes (n > 100), os testes de normalidade tornam-se muito sensíveis e quase sempre rejeitam a normalidade por desvios insignificantes; nesse caso, baseie-se no Teorema do Limite Central (as médias amostrais são aproximadamente normais), em vez de testar os dados brutos.

O teste de Shapiro-Wilk (scipy.stats.shapiro(data)) é o teste de normalidade mais potente para tamanhos de amostra de até aproximadamente 5.000. Ele retorna uma estatística W e um valor de p. Se p > 0.05, você não rejeita a normalidade — os dados são compatíveis com uma distribuição normal. Se p ≤ 0.05, você rejeita a normalidade. Lembre-se: não rejeitar a normalidade não prova que os dados sejam normais; significa apenas que não há evidências suficientes para afirmar que não são.

O teste de Kolmogorov-Smirnov (K-S) (scipy.stats.kstest(data, 'norm', args)) testa se uma amostra segue uma distribuição especificada. Diferentemente do Shapiro-Wilk, ele funciona com qualquer distribuição (não apenas a normal) e com amostras grandes. Ele calcula a diferença máxima entre a CDF empírica dos seus dados e a CDF teórica. Uma variação, o teste K-S de duas amostras (stats.ks_2samp(a, b)), testa se duas amostras vêm da mesma distribuição — útil para comparar distribuições antes e depois.

O gráfico Q-Q (quantil-quantil) é uma verificação visual da normalidade: ele representa os quantis dos seus dados em relação aos quantis de uma distribuição normal. Se os dados forem normais, os pontos ficarão sobre uma linha diagonal reta. Desvios da linha indicam afastamento da normalidade — curvas em S indicam curtose, e curvas ou mudanças de direção indicam assimetria. Os testes estatísticos informam se os desvios são significativos; os gráficos Q-Q mostram a natureza e a localização desses desvios. Use scipy.stats.probplot() para gerar os dados do gráfico Q-Q.

O Teorema do Limite Central (CLT) afirma que a distribuição das médias amostrais se aproxima da normalidade à medida que o tamanho da amostra aumenta, independentemente da distribuição subjacente. Para n ≥ 30, a média amostral é aproximadamente normal, mesmo que as observações individuais sejam assimétricas. É por isso que os testes t são robustos para amostras grandes: você está testando se a média difere, e a média é aproximadamente normal mesmo quando os dados brutos não são. Para amostras pequenas de populações não normais, use testes não paramétricos.

Em testes de comparação entre grupos (teste t, ANOVA), a normalidade é necessária dentro de cada grupo, não nos dados gerais. Ao testar se as vendas diferem por região, teste a normalidade das vendas separadamente dentro de cada região. Uma distribuição que não é normal no geral ainda pode satisfazer a normalidade dentro dos subgrupos. Aplique stats.shapiro() a cada grupo usando groupby() do Pandas e itere pelos grupos para verificar a suposição de forma sistemática.

Quando a normalidade é violada, use testes não paramétricos, que não fazem suposições sobre a distribuição. O teste U de Mann-Whitney (stats.mannwhitneyu) substitui o teste t independente; o teste de postos sinalizados de Wilcoxon (stats.wilcoxon) substitui o teste t pareado; o teste de Kruskal-Wallis (stats.kruskal) substitui a ANOVA de uma via. Esses testes usam postos em vez dos valores brutos e são robustos a valores atípicos, mas têm menor poder estatístico que seus equivalentes paramétricos quando a normalidade de fato é válida.

Na EDA, muitas vezes é necessário verificar a normalidade e a assimetria de todas as colunas numéricas de uma só vez. Combine select_dtypes do Pandas com um laço pelas colunas, chamando stats.shapiro() e stats.skew(). Crie um DataFrame de resumo com colunas para assimetria, curtose e valor de p de Shapiro, para obter uma visão geral das colunas que não são normais e precisam de transformação antes da modelagem. Isso faz parte de uma lista de verificação sistemática da qualidade dos dados.

Nesta lição, você aprendeu que scipy.stats.skew() e kurtosis() descrevem o formato de uma distribuição além do que describe() fornece, que scipy.stats.shapiro() testa a normalidade, com p > 0.05 significando ausência de evidências contra a normalidade, e que o Teorema do Limite Central torna os testes t robustos para amostras grandes, mesmo com dados não normais. A seguir, aplicaremos testes de hipóteses com testes t para comparar médias de grupos.