ANOVA i testy post-hoc

Przy porównywaniu średnich w trzech lub większej liczbie grup wykonywanie wielu testów t zwiększa częstość błędów I rodzaju (częstość wyników fałszywie dodatnich). Testowanie grup A vs B, A vs C oraz B vs C przy α=0,05 dla każdego testu daje łączne prawdopodobieństwo wyniku fałszywie dodatniego wynoszące około 14%, a nie 5%. Analiza wariancji (ANOVA) rozwiązuje ten problem, testując wszystkie grupy jednocześnie w ramach jednego testu i utrzymując częstość wyników fałszywie dodatnich dokładnie na poziomie α. Jeden test ANOVA zastępuje wszystkie pary testów t w przypadku pytania ogólnego: „Czy któreś grupy różnią się od siebie?”

Jednoczynnikowa ANOVA sprawdza, czy średnie w trzech lub większej liczbie grup różnią się istotnie. Rozkłada całkowitą wariancję na wariancję międzygrupową (wyjaśnianą przynależnością do grupy) oraz wariancję wewnątrzgrupową (losowy szum). Statystyka F to ich iloraz: F = (wariancja międzygrupowa) / (wariancja wewnątrzgrupowa). Duża wartość F oznacza, że różnice między grupami są duże w porównaniu z szumem, co prowadzi do małej wartości p. Hipoteza zerowa brzmi: H₀: wszystkie średnie grupowe są równe.

W praktyce dane znajdują się w ramce danych w formacie długim, w której jedna kolumna zawiera etykietę grupy, a druga — pomiar. Należy wyodrębnić każdą grupę jako obiekt Series i przekazać je do stats.f_oneway(). Jeśli natomiast mają Państwo ramkę danych w formacie szerokim (po jednej kolumnie na grupę), można bezpośrednio przekazać każdą kolumnę. Funkcja przyjmuje dowolną liczbę argumentów pozycyjnych, dzięki czemu łatwo rozszerzyć analizę na 4, 5 lub więcej grup.

Jednoczynnikowa ANOVA zakłada: (1) niezależność — obserwacje są od siebie niezależne; (2) normalność — reszty mają w przybliżeniu rozkład normalny w każdej grupie (dla dużych prób metoda jest odporna dzięki centralnemu twierdzeniu granicznemu); (3) homoscedastyczność — wariancje w grupach są równe. Założenie dotyczące wariancji można sprawdzić za pomocą testu Levene’a (stats.levene(*groups)). Jeśli wariancje nie są równe, należy użyć ANOVA Welcha, dostępnej w bibliotece pingouin lub obliczanej za pomocą statsmodels.

Gdy założenia ANOVA są naruszone (rozkłady nie są normalne, próby są małe lub wariancje są nierówne), alternatywą nieparametryczną jest test Kruskala-Wallisa. Sprawdza on, czy rozkłady grup różnią się od siebie, przekształcając dane na rangi i porównując sumy rang. Należy użyć scipy.stats.kruskal(*groups). Hipoteza zerowa zakłada, że wszystkie grupy mają ten sam rozkład (co jest równoważne testowaniu równych median, gdy rozkłady mają ten sam kształt). Test ten jest zawsze poprawny, ale gdy założenia są spełnione, ma mniejszą moc niż ANOVA.

Istotny wynik ANOVA mówi, że średnia co najmniej jednej grupy różni się od pozostałych, ale nie wskazuje, które pary się różnią. Testy post-hoc wykonują wszystkie porównania parami, korygując wynik pod kątem wielokrotnych porównań. Najpopularniejszym z nich jest test istotnej różnicy Tukeya (Tukey HSD), który dokładnie kontroluje rodzinny współczynnik błędu na poziomie α. Jest dostępny w funkcji statsmodels.stats.multicomp.pairwise_tukeyhsd(). Testy post-hoc należy wykonywać dopiero po uzyskaniu istotnego wyniku ANOVA — nie należy stosować ich jako poszukiwania różnic w przypadku wyników nieistotnych.

Tabela Tukey HSD zawiera jeden wiersz dla każdej pary grup. Najważniejsze kolumny to: meandiff (różnica średnich dla danej pary), lower i upper (95-procentowy przedział ufności dla różnicy) oraz reject (True, jeśli para różni się istotnie przy α). Przedział ufności, który nie obejmuje zera, oznacza istotną różnicę między parą. Grupy, których przedziały ufności się pokrywają, nie różnią się między sobą istotnie.

Jako alternatywę dla testu Tukey HSD można zastosować korektę Bonferroniego do testów t wykonywanych parami: należy wykonać wszystkie testy t, a następnie ustawić próg na α/k, gdzie k oznacza liczbę porównań. Jest to podejście konserwatywne — może nie wykryć rzeczywistych różnic. Korekta Benjamina-Hochberga, czyli kontrola współczynnika fałszywych odkryć (FDR), jest mniej konserwatywna: kontroluje oczekiwany odsetek fałszywych odkryć, pozwalając wykryć więcej wyników prawdziwie dodatnich kosztem nieco większej liczby wyników fałszywie dodatnich. Należy użyć statsmodels.stats.multitest.multipletests(p_values, method='fdr_bh').

W przypadku ANOVA analogiczną miarą do d Cohena jest eta-kwadrat (η²): odsetek całkowitej wariancji wyjaśniany przynależnością do grupy. η² = SS_between / SS_total. Wartości: < 0.01 oznacza mały efekt, 0.06 — średni, a > 0.14 — duży. Częściowe eta-kwadrat (η²_p) jest częściej stosowane w publikowanych badaniach: mianownik obejmuje jedynie wariancję grupową i wariancję błędu, a nie całkowitą wariancję. Należy zawsze obliczać η² wraz z wartością p ANOVA, aby pokazać, czy efekt ma znaczenie praktyczne, a nie tylko czy można go wykryć statystycznie.

Dwuczynnikowa ANOVA rozszerza jednoczynnikową ANOVA na dwa czynniki kategoryczne analizowane jednocześnie. Można na przykład sprawdzać, czy wyniki egzaminu różnią się jednocześnie ze względu na metodę nauczania i poziom doświadczenia uczniów. Testuje także efekt interakcji: czy wpływ metody nauczania zależy od poziomu doświadczenia? Dwuczynnikową ANOVA implementuje się w statsmodels za pomocą ols('score ~ C(method) + C(level) + C(method):C(level)', data=df).fit() oraz anova_lm(model). Stanowi to podstawę bardziej zaawansowanego planowania eksperymentów.

ANOVA dla pomiarów powtarzanych jest stosowana, gdy te same osoby są mierzone wielokrotnie — na przykład podczas badania czasu reakcji w punktach 0, 30 i 60 minut po zastosowaniu leczenia. Jest wielogrupowym uogólnieniem testu t dla prób zależnych. Dzięki uwzględnieniu różnic indywidualnych ma większą moc niż jednoczynnikowa ANOVA. W Pythonie należy użyć pingouin.rm_anova() lub pg.pairwise_tests() do analizy post-hoc. Gdy założenie sferyczności jest naruszone (co sprawdza się testem Mauchly’ego), należy użyć wartości p skorygowanych metodą Greenhouse’a-Geissera.

Sprawdź swoją wiedzę na temat pojęć związanych z analizą danych z tej lekcji.

W tej lekcji nauczyli się Państwo, że: scipy.stats.f_oneway() sprawdza, czy średnie w którejkolwiek z grup różnią się, kontrolując ogólną częstość błędów I rodzaju; testy post-hoc (Tukey HSD) wskazują, które konkretne pary różnią się po uzyskaniu istotnego wyniku ANOVA; a test Kruskala-Wallisa jest nieparametryczną alternatywą, gdy założenia dotyczące normalności lub równości wariancji są naruszone. Następnie rozpoczniemy projekt końcowy, łącząc wszystkie umiejętności w kompletnym potoku danych.