ANOVA e test post-hoc

Quando si confrontano le medie di tre o più gruppi, eseguire più test t aumenta il tasso di errore di tipo I (tasso di falsi positivi). Testare i gruppi A vs B, A vs C e B vs C con α=0,05 per ciascun confronto porta a una probabilità complessiva di falso positivo di circa il 14%, non del 5%. La Analysis of Variance (ANOVA) risolve il problema testando simultaneamente tutti i gruppi con un unico test e mantenendo il tasso di falsi positivi esattamente pari ad α. Una ANOVA sostituisce tutti i test t a coppie per la domanda omnibus: «I gruppi differiscono tra loro?»

La ANOVA a una via verifica se le medie di tre o più gruppi differiscono in modo significativo. Scompone la varianza totale in varianza tra i gruppi (spiegata dall'appartenenza al gruppo) e varianza entro i gruppi (rumore casuale). La statistica F è il loro rapporto: F = (varianza tra i gruppi) / (varianza entro i gruppi). Un valore elevato di F indica che le differenze tra i gruppi sono grandi rispetto al rumore e produce un p-value piccolo. L'ipotesi nulla è H₀: tutte le medie dei gruppi sono uguali.

Nella pratica, i dati si trovano in un DataFrame in formato long, in cui una colonna contiene l'etichetta del gruppo e un'altra contiene la misurazione. Estragga ciascun gruppo come Series e lo passi a stats.f_oneway(). In alternativa, se dispone di un DataFrame in formato wide (una colonna per ogni gruppo), passi direttamente ciascuna colonna. La funzione accetta un numero qualsiasi di argomenti posizionali, facilitando l'estensione a 4, 5 o più gruppi.

L'ANOVA a una via presuppone: (1) Indipendenza — le osservazioni sono indipendenti l'una dall'altra; (2) Normalità — i residui sono approssimativamente normali all'interno di ciascun gruppo (l'ANOVA è robusta per campioni grandi grazie al TLC); (3) Omoscedasticità — le varianze sono uguali tra i gruppi. Verifichi l'ipotesi sulle varianze con il test di Levene (stats.levene(*groups)). Se le varianze non sono uguali, utilizzi l'ANOVA di Welch, disponibile nella libreria pingouin o calcolabile con statsmodels.

Quando le ipotesi dell'ANOVA non sono rispettate (distribuzioni non normali, campioni piccoli, varianze diverse), il test di Kruskal-Wallis è l'alternativa non parametrica. Verifica se le distribuzioni dei gruppi differiscono convertendo i dati in ranghi e confrontando le somme dei ranghi. Utilizzi scipy.stats.kruskal(*groups). L'ipotesi nulla è che tutti i gruppi abbiano la stessa distribuzione (equivalente a verificare l'uguaglianza delle mediane quando le distribuzioni hanno la stessa forma). È sempre valido, ma meno potente dell'ANOVA quando le ipotesi sono rispettate.

Un'ANOVA significativa indica che almeno una media di gruppo è diversa, ma non quali coppie differiscono. I test post-hoc eseguono tutti i confronti a coppie correggendo al contempo per i confronti multipli. Il più usato è la differenza significativa onesta di Tukey (Tukey HSD), che controlla esattamente il tasso di errore familiare al livello α. È disponibile in statsmodels.stats.multicomp.pairwise_tukeyhsd(). Esegua i test post-hoc solo dopo un'ANOVA significativa, non come ricerca esplorativa su risultati non significativi.

La tabella di Tukey HSD contiene una riga per ogni coppia di gruppi. Le colonne principali sono: meandiff (differenza tra le medie della coppia), lower e upper (intervallo di confidenza al 95% per la differenza) e reject (True se la coppia differisce significativamente al livello α). Un intervallo di confidenza che non include lo zero indica che la coppia è significativamente diversa. I gruppi i cui intervalli di confidenza si sovrappongono non differiscono significativamente tra loro.

In alternativa al Tukey HSD, può applicare una correzione di Bonferroni ai test t a coppie: esegua tutti i test t, quindi imposti la soglia su α/k, dove k è il numero di confronti. Si tratta di un approccio conservativo, che può non rilevare differenze reali. La correzione Benjamini-Hochberg del False Discovery Rate (FDR) è meno conservativa: controlla la proporzione attesa di scoperte false, consentendo più veri positivi al costo di un numero leggermente maggiore di falsi positivi. Utilizzi statsmodels.stats.multitest.multipletests(p_values, method='fdr_bh').

Per l'ANOVA, la misura analoga al d di Cohen è l'eta quadrato (η²): la proporzione di varianza totale spiegata dall'appartenenza al gruppo. η² = SS_between / SS_total. Valori inferiori a 0,01 indicano un effetto piccolo, 0,06 un effetto medio e superiori a 0,14 un effetto grande. L'eta quadrato parziale (η²_p) è più comune nella ricerca pubblicata: divide solo per la somma della varianza dei gruppi e della varianza dell'errore, non per la varianza totale. Calcoli sempre η² insieme al p-value dell'ANOVA per mostrare se l'effetto è rilevante dal punto di vista pratico, non solo statisticamente rilevabile.

L'ANOVA a due vie estende l'ANOVA a una via a due fattori categorici simultaneamente. Per esempio, consente di verificare se i punteggi d'esame differiscono sia in base al metodo di insegnamento sia in base al livello di esperienza degli studenti. Verifica inoltre l'effetto di interazione: l'effetto del metodo di insegnamento dipende dal livello di esperienza? In statsmodels, l'ANOVA a due vie si implementa con ols('score ~ C(method) + C(level) + C(method):C(level)', data=df).fit() e anova_lm(model). Costituisce una base per progetti sperimentali più avanzati.

L'ANOVA per misure ripetute si usa quando gli stessi soggetti vengono misurati più volte, per esempio per analizzare il tempo di reazione a 0, 30 e 60 minuti da un trattamento. È la generalizzazione a più gruppi del test t per campioni appaiati. Tenendo conto delle differenze individuali, offre una potenza maggiore rispetto all'ANOVA a una via. In Python, utilizzi pingouin.rm_anova() oppure pg.pairwise_tests() per l'analisi post-hoc. Quando la sfericità non è rispettata (verificata con il test di Mauchly), utilizzi p-value corretti con Greenhouse-Geisser.

In questa lezione ha imparato che scipy.stats.f_oneway() verifica se esistono differenze tra le medie dei gruppi controllando il tasso complessivo di errore di tipo I, che i test post-hoc (Tukey HSD) identificano le coppie specifiche che differiscono dopo un'ANOVA significativa e che il Kruskal-Wallis è l'alternativa non parametrica quando le ipotesi di normalità o di uguaglianza delle varianze non sono rispettate. Ora inizieremo il progetto conclusivo, integrando tutte le competenze in una pipeline completa di dati.