Teste qui-quadrado de independência

O teste do qui-quadrado de independência verifica se duas variáveis categóricas são estatisticamente independentes ou se existe uma associação entre elas. Por exemplo: “A rotatividade de clientes é independente do nível de assinatura?” ou “A preferência por produtos é independente da faixa etária?” Diferentemente dos testes t, que comparam médias numéricas, os testes do qui-quadrado comparam as frequências observadas em uma tabela de contingência com as frequências que esperaríamos se as variáveis fossem independentes.

Uma tabela de contingência (também chamada de tabulação cruzada) mostra a contagem de observações para cada combinação de duas variáveis categóricas. pd.crosstab(df['var1'], df['var2']) cria essa tabela diretamente a partir de um DataFrame. Cada célula contém a contagem de observações em que a categoria da linha e a categoria da coluna aparecem juntas. Essa é a entrada para scipy.stats.chi2_contingency().

scipy.stats.chi2_contingency(observed) recebe a tabela de contingência observada (como uma matriz do NumPy ou um DataFrame do Pandas) e retorna quatro valores: a estatística do qui-quadrado, o valor de p, os graus de liberdade e a tabela de frequências esperadas. A hipótese nula é H₀: the two variables are independent. Se p ≤ 0.05, rejeitamos a independência e concluímos que existe uma associação estatisticamente significativa.

As frequências esperadas representam como seriam as contagens das células se as duas variáveis fossem perfeitamente independentes. Para cada célula, expected = (row_total × column_total) / grand_total. A estatística do qui-quadrado mede a soma das diferenças ao quadrado entre as contagens observadas e esperadas, normalizada pelas contagens esperadas. Um qui-quadrado grande significa que as contagens observadas se desviam bastante da independência; um qui-quadrado pequeno significa que os dados são compatíveis com a independência.

Para uma tabela de contingência com r linhas e c colunas, os graus de liberdade são df = (r-1) × (c-1). Uma tabela 2×2 tem df=1; uma tabela 3×4 tem df=6. O valor crítico do qui-quadrado aumenta com os graus de liberdade: para df=1 com α=0,05, o valor crítico é ≈ 3,84; para df=6 com α=0,05, é ≈ 12,6. A função chi2_contingency trata disso automaticamente, mas conhecer a fórmula ajuda a entender por que o qui-quadrado de tabelas maiores precisa de estatísticas maiores para ser significativo.

O teste do qui-quadrado só é confiável quando todas as frequências esperadas são de pelo menos 5 (algumas fontes afirmam que basta serem de pelo menos 1, desde que no máximo 20% sejam inferiores a 5). Contagens esperadas pequenas tornam imprecisa a aproximação do qui-quadrado. Quando esse pressuposto é violado, use o teste exato de Fisher (scipy.stats.fisher_exact()) para tabelas 2×2 ou agrupe categorias raras para aumentar as contagens esperadas. Inspecione sempre a matriz de frequências esperadas retornada por chi2_contingency.

scipy.stats.fisher_exact(table) calcula a probabilidade exata de observar a tabela 2×2 fornecida (ou uma ainda mais extrema) sob a hipótese nula de independência, sem qualquer aproximação. Ele é sempre válido, independentemente do tamanho da amostra ou das contagens das células — o valor de p é exato, não aproximado. O custo é computacional: a função enumera todas as tabelas possíveis, o que a torna lenta para totais grandes. Para tabelas 2×2 com qualquer contagem de célula inferior a 5, prefira sempre o teste exato de Fisher ao qui-quadrado.

Assim como o d de Cohen nos testes t, a estatística do qui-quadrado, sozinha, não mede a força da associação — ela é inflada pelo tamanho da amostra. O V de Cramér normaliza o qui-quadrado para uma escala de 0 a 1: 0 significa nenhuma associação e 1 significa associação perfeita. V = sqrt(chi2 / (n × min(r-1, c-1))). Orientações: < 0,1 é fraca, 0,1–0,3 é moderada e > 0,3 é forte. Relate sempre o V de Cramér junto com o valor de p para obter uma visão completa.

Outra aplicação do qui-quadrado é o teste de aderência: ele verifica se as frequências observadas correspondem a uma distribuição hipotética. Por exemplo: “Os resultados do dado são distribuídos uniformemente?” ou “O tráfego do nosso site segue o padrão esperado para os dias da semana?” Use scipy.stats.chisquare(f_obs, f_exp), em que f_exp são as frequências esperadas. A hipótese nula é que os dados seguem a distribuição especificada.

Ao relatar resultados do qui-quadrado, é útil mostrar proporções em vez de contagens brutas, para que os leitores possam ver a associação relativa. pd.crosstab(var1, var2, normalize='index') mostra a proporção por linha (qual fração de cada categoria de linha pertence a cada coluna). normalize='columns' mostra as proporções por coluna. Comparar visualmente essas proporções antes de executar o teste ajuda a antecipar a direção da associação e a interpretar o resultado no contexto.

O teste do qui-quadrado é o teste padrão para taxas de conversão em testes A/B. Crie uma tabela de contingência 2×2 com linhas = (controle, variante) e colunas = (convertido, não convertido). O teste do qui-quadrado informa se a taxa de conversão difere significativamente entre os grupos. Para amostras grandes, isso equivale a um teste z de duas proporções. Para amostras pequenas (qualquer contagem esperada < 5), use o teste exato de Fisher.

Nesta lição, você aprendeu que pd.crosstab() + chi2_contingency() testam se duas variáveis categóricas são independentes com base nas frequências observadas e esperadas, que o teste exato de Fisher é a alternativa segura quando as contagens esperadas são inferiores a 5 e que o V de Cramér mede a força da associação independentemente do tamanho da amostra. Em seguida, compararemos médias entre três ou mais grupos com ANOVA e testes pós-hoc.