ANOVA und Post-hoc-Tests

Beim Vergleich von Mittelwerten über drei oder mehr Gruppen hinweg erhöht die Durchführung mehrerer t-Tests die Fehlerquote 1. Art (Falsch-Positiv-Rate). Wenn Sie die Gruppen A vs. B, A vs. C und B vs. C jeweils mit α=0,05 testen, liegt die Wahrscheinlichkeit eines Falsch-Positiv-Ergebnisses insgesamt bei etwa 14 % und nicht bei 5 %. Die Varianzanalyse (ANOVA) löst dieses Problem, indem sie alle Gruppen gleichzeitig in einem einzigen Test prüft und die Falsch-Positiv-Rate exakt bei α hält. Eine ANOVA ersetzt für die Omnibus-Frage „Unterscheiden sich einige Gruppen?“ alle paarweisen t-Tests.

Die einfaktorielle ANOVA prüft, ob sich die Mittelwerte von drei oder mehr Gruppen signifikant unterscheiden. Sie zerlegt die Gesamtvarianz in die Varianz zwischen den Gruppen (erklärt durch die Gruppenzugehörigkeit) und die Varianz innerhalb der Gruppen (zufälliges Rauschen). Die F-Statistik ist ihr Verhältnis: F = (Varianz zwischen den Gruppen) / (Varianz innerhalb der Gruppen). Ein großer F-Wert bedeutet, dass die Gruppenunterschiede im Verhältnis zum Rauschen groß sind, was zu einem kleinen p-Wert führt. Die Nullhypothese lautet H₀: Alle Gruppenmittelwerte sind gleich.

In der Praxis liegen Ihre Daten in einem DataFrame im Long-Format vor: Eine Spalte enthält die Gruppenbezeichnung, eine weitere die Messwerte. Extrahieren Sie jede Gruppe als Series und übergeben Sie sie an stats.f_oneway(). Alternativ können Sie bei einem DataFrame im Wide-Format (eine Spalte pro Gruppe) jede Spalte direkt übergeben. Die Funktion akzeptiert beliebig viele Positionsargumente, sodass sie problemlos auf 4, 5 oder mehr Gruppen erweitert werden kann.

Die einfaktorielle ANOVA setzt Folgendes voraus: (1) Unabhängigkeit — die Beobachtungen sind voneinander unabhängig; (2) Normalverteilung — die Residuen sind innerhalb jeder Gruppe annähernd normalverteilt (bei großen Stichproben dank des zentralen Grenzwertsatzes robust); (3) Homoskedastizität — die Varianzen sind in allen Gruppen gleich. Testen Sie die Varianzannahme mit dem Levene-Test (stats.levene(*groups)). Bei ungleichen Varianzen verwenden Sie stattdessen die Welch-ANOVA, die in der Bibliothek pingouin verfügbar ist oder mit statsmodels berechnet werden kann.

Wenn die ANOVA-Annahmen verletzt sind (nicht normalverteilte Daten, kleine Stichproben, ungleiche Varianzen), ist der Kruskal-Wallis-Test die nichtparametrische Alternative. Er prüft, ob sich die Verteilungen der Gruppen unterscheiden, indem er die Daten in Rangwerte umwandelt und die Rangsummen vergleicht. Verwenden Sie scipy.stats.kruskal(*groups). Die Nullhypothese lautet, dass alle Gruppen dieselbe Verteilung haben (entspricht dem Test auf gleiche Mediane, wenn die Verteilungen dieselbe Form haben). Der Test ist immer gültig, aber bei erfüllten Annahmen weniger aussagekräftig als die ANOVA.

Eine signifikante ANOVA zeigt Ihnen, dass sich mindestens ein Gruppenmittelwert unterscheidet, aber nicht, welche Paare sich unterscheiden. Post-hoc-Tests führen alle paarweisen Vergleiche durch und korrigieren dabei für multiples Testen. Am weitesten verbreitet ist die Tukey-HSD (Tukeys ehrlich signifikanter Unterschied), die die familienbezogene Fehlerquote exakt bei α hält. Sie ist in statsmodels.stats.multicomp.pairwise_tukeyhsd() verfügbar. Führen Sie Post-hoc-Tests erst nach einer signifikanten ANOVA durch — nicht als willkürliche Suche nach Ergebnissen bei nicht signifikanten Resultaten.

Die Tukey-HSD-Tabelle enthält eine Zeile für jedes Gruppenpaar. Auf folgende Spalten sollten Sie besonders achten: meandiff (Mittelwertdifferenz des Paars), lower und upper (95-%-Konfidenzintervall für die Differenz) sowie reject (True, wenn sich das Paar bei α signifikant unterscheidet). Ein Konfidenzintervall, das null nicht enthält, bedeutet, dass sich das Paar signifikant unterscheidet. Gruppen, deren Konfidenzintervalle sich überschneiden, unterscheiden sich nicht signifikant voneinander.

Als Alternative zur Tukey-HSD können Sie eine Bonferroni-Korrektur auf paarweise t-Tests anwenden: Führen Sie alle t-Tests durch und passen Sie anschließend den Schwellenwert auf α/k an, wobei k die Anzahl der Vergleiche ist. Dieses Verfahren ist konservativ — es kann echte Unterschiede übersehen. Die Benjamini-Hochberg-Korrektur der False Discovery Rate (FDR) ist weniger konservativ: Sie kontrolliert den erwarteten Anteil falscher Entdeckungen und ermöglicht dadurch mehr echte positive Ergebnisse, allerdings um den Preis etwas mehr falsch positiver Ergebnisse. Verwenden Sie statsmodels.stats.multitest.multipletests(p_values, method='fdr_bh').

Bei der ANOVA ist Eta-Quadrat (η²) das entsprechende Maß zu Cohens d: der Anteil der Gesamtvarianz, der durch die Gruppenzugehörigkeit erklärt wird. η² = SS_between / SS_total. Richtwerte: < 0,01 ist klein, 0,06 ist mittel und > 0,14 ist groß. Das partielle Eta-Quadrat (η²_p) ist in veröffentlichten Studien verbreiteter: Es teilt nur durch die Gruppenvarianz plus die Fehlervarianz und nicht durch die Gesamtvarianz. Berechnen Sie η² stets zusammen mit dem p-Wert der ANOVA, um zu zeigen, ob der Effekt praktisch bedeutsam und nicht nur statistisch nachweisbar ist.

Die zweifaktorielle ANOVA erweitert die einfaktorielle ANOVA um zwei kategoriale Faktoren, die gleichzeitig untersucht werden. Sie können beispielsweise prüfen, ob sich Prüfungsergebnisse sowohl nach der Unterrichtsmethode als auch nach dem Erfahrungsniveau der Studierenden unterscheiden. Außerdem wird der Interaktionseffekt getestet: Hängt der Effekt der Unterrichtsmethode vom Erfahrungsniveau ab? Die zweifaktorielle ANOVA wird in statsmodels mit ols('score ~ C(method) + C(level) + C(method):C(level)', data=df).fit() und anova_lm(model) implementiert. Sie bildet eine Grundlage für fortgeschrittenere Versuchspläne.

Eine ANOVA mit Messwiederholungen wird verwendet, wenn dieselben Versuchspersonen mehrmals gemessen werden — beispielsweise zur Untersuchung der Reaktionszeit zu den Zeitpunkten 0, 30 und 60 Minuten nach einer Behandlung. Sie ist die Verallgemeinerung des gepaarten t-Tests auf mehrere Gruppen. Da individuelle Unterschiede berücksichtigt werden, besitzt sie eine höhere Teststärke als die einfaktorielle ANOVA. Verwenden Sie in Python pingouin.rm_anova() oder pg.pairwise_tests() für die Post-hoc-Analyse. Bei verletzter Sphärizität (getestet mit dem Mauchly-Test) verwenden Sie p-Werte mit Greenhouse-Geisser-Korrektur.

In dieser Lektion haben Sie gelernt: scipy.stats.f_oneway() prüft, ob sich beliebige Gruppen in ihrem Mittelwert unterscheiden, und kontrolliert dabei die Gesamtfehlerquote 1. Art; Post-hoc-Tests (Tukey-HSD) ermitteln nach einer signifikanten ANOVA, welche konkreten Paare sich unterscheiden; und der Kruskal-Wallis-Test ist die nichtparametrische Alternative, wenn die Annahmen der Normalverteilung oder gleicher Varianzen verletzt sind. Als Nächstes beginnen wir das Abschlussprojekt, in dem alle Fähigkeiten zu einer durchgängigen Datenpipeline zusammengeführt werden.