Testes t para comparar médias

Um teste t é um teste de hipóteses que determina se uma diferença entre as médias de grupos é estatisticamente significativa ou provavelmente se deve ao acaso. Ele compara a diferença observada com a variabilidade dos dados, produzindo uma estatística t e um valor de p. Se p ≤ 0.05 (o limiar convencional), rejeitamos a hipótese nula de que as médias são iguais. Há três tipos comuns: teste t de uma amostra, teste t independente de duas amostras e teste t pareado, cada um destinado a diferentes delineamentos experimentais.

O teste t de uma amostra verifica se a média de uma amostra difere significativamente de uma média populacional conhecida ou hipotética. Por exemplo: “Nosso tempo médio de entrega é significativamente diferente do padrão do setor de 3 dias?” Use scipy.stats.ttest_1samp(data, popmean). A hipótese nula é H₀: mean = popmean. Um valor de p pequeno leva à rejeição de H₀ e à conclusão de que a média amostral difere do valor-alvo.

O teste t de duas amostras independentes compara as médias de dois grupos independentes. Por exemplo: “A variante do teste A/B gera uma receita média maior do que o controle?” Use scipy.stats.ttest_ind(group_a, group_b). O parâmetro equal_var é importante: defina equal_var=False (teste t de Welch) quando os dois grupos puderem ter variâncias diferentes, que é a opção padrão mais segura para a maioria dos dados reais.

Por padrão, os testes t são bicaudais: eles verificam se as médias diferem em qualquer direção (maior OR menor). Se tiver uma hipótese direcional (“a variante aumenta a receita”), use um teste unicaudal com o parâmetro alternative: 'greater' ou 'less'. Um teste unicaudal tem mais poder para a direção específica, mas não fornece evidências sobre a outra direção. Decida a direção antes de analisar os dados para evitar HARKing (formular hipóteses depois de conhecer os resultados).

O teste t pareado é usado quando cada observação do grupo A tem um par natural no grupo B — por exemplo, medições antes e depois de um tratamento nos mesmos indivíduos ou nas mesmas lojas em dois meses diferentes. O pareamento controla a variabilidade entre indivíduos, tornando o teste mais poderoso do que um teste t independente para os mesmos dados. Use scipy.stats.ttest_rel(before, after). A ordem dos elementos deve corresponder: before[i] e after[i] devem vir do mesmo indivíduo.

A estatística t mede a quantos erros padrão a diferença observada está de zero. Uma estatística t igual a 2 significa que a diferença observada está 2 erros padrão acima do que seria esperado sob a hipótese nula. Para um teste bicaudal com α=0,05 e uma amostra grande, o valor crítico é aproximadamente ±1,96 — portanto, |t| > 1,96 produz p < 0,05. O valor de p converte a estatística t em uma probabilidade, facilitando a interpretação sem consultar tabelas da distribuição t.

Um valor de p, por si só, não informa a magnitude do efeito. Calcule sempre um intervalo de confiança para a diferença entre médias. Um IC de 95% que inclui zero é compatível com p > 0,05 (não significativo); um que não inclui zero significa que a diferença é significativa. O IC também informa se o tamanho do efeito é relevante na prática — uma diferença estatisticamente significativa de US$ 0,01 na receita pode ser irrelevante, enquanto uma diferença de US$ 50 com p=0,06 ainda pode ser importante para o negócio.

A significância estatística depende do tamanho da amostra — com amostras suficientemente grandes, até diferenças triviais se tornam significativas. O d de Cohen mede a significância prática (tamanho do efeito): a diferença entre médias dividida pelo desvio padrão combinado. Orientações: d < 0,2 é desprezível, 0,2–0,5 é pequeno, 0,5–0,8 é médio e > 0,8 é grande. Relate sempre o tamanho do efeito junto com os valores de p — um valor de p significativo com d = 0,05 significa que a diferença é real, mas provavelmente não é relevante na prática.

O teste t independente pressupõe: (1) independência — as observações dentro de cada grupo são independentes umas das outras; (2) normalidade — os dados de cada grupo são aproximadamente normais (robustos para n > 30 por meio do CLT); (3) para o teste t de Student (equal_var=True), variâncias iguais. O teste t de Welch (equal_var=False) flexibiliza o terceiro pressuposto e é preferível. Quando a normalidade é seriamente violada em amostras pequenas (< 30), use o teste U de Mann-Whitney.

Na prática, os dados que deseja testar ficam em uma coluna de um DataFrame do Pandas. É possível passar diretamente uma série do Pandas para funções de scipy.stats — elas funcionam perfeitamente tanto com séries quanto com matrizes do NumPy. Um fluxo de trabalho comum é filtrar o DataFrame para obter a série de cada grupo, executar o teste t e armazenar os resultados em um DataFrame de resumo. Esse padrão pode ser ampliado para testar muitos pares de colunas ou grupos em um laço.

Executar muitos testes t simultaneamente aumenta a probabilidade de um falso positivo. Se executar 20 testes t com α=0,05, espera-se 1 falso positivo por acaso. Esse é o problema das comparações múltiplas. Aplique a correção de Bonferroni: divida α pelo número de testes (p_threshold = 0.05 / n_tests). Para obter mais poder com menos conservadorismo, use a correção da Taxa de Falsas Descobertas de Benjamini-Hochberg (FDR), disponível em statsmodels. Corrija sempre as comparações múltiplas em testes A/B com muitas métricas.

Nesta lição, você aprendeu que ttest_1samp testa a média de uma amostra em relação a um valor de referência, ttest_ind (o teste de Welch com equal_var=False) compara dois grupos independentes e ttest_rel trata de medições pareadas. Relate sempre o d de Cohen junto com o valor de p para distinguir a significância estatística da prática. Em seguida, testaremos relações entre variáveis categóricas com o teste do qui-quadrado.