T-test för jämförelse av medelvärden

Ett t-test är ett hypotesprövningstest som avgör om en skillnad i medelvärden mellan grupper är statistiskt signifikant eller sannolikt beror på slumpen. Det jämför den observerade skillnaden med variationen i data och ger en t-statistik och ett p-värde. Om p ≤ 0.05 (den konventionella gränsen) förkastar vi nollhypotesen att medelvärdena är lika. Det finns tre vanliga typer: one-sample, independent two-sample och paired t-test, som används för olika experimentella upplägg.

T-testet för ett urval testar om medelvärdet i ett urval skiljer sig signifikant från ett känt eller hypotetiskt populationsmedelvärde. Exempel: ”Skiljer sig vår genomsnittliga leveranstid signifikant från branschstandarden på tre dagar?” Använd scipy.stats.ttest_1samp(data, popmean). Nollhypotesen är H₀: mean = popmean. Ett lågt p-värde leder till att Ni förkastar H₀ och drar slutsatsen att urvalets medelvärde skiljer sig från målvärdet.

Det oberoende t-testet för två stickprov jämför medelvärdena för två oberoende grupper. Exempel: ”Ger A/B-testvarianten högre genomsnittlig intäkt än kontrollen?” Använd scipy.stats.ttest_ind(group_a, group_b). Parametern equal_var är viktig: ange equal_var=False (Welchs t-test) när de två grupperna kan ha olika varians, vilket är det säkra standardvalet för de flesta verkliga data.

Som standard är t-test tvåsidiga: de testar om medelvärdena skiljer sig i någon riktning (större ELLER mindre än). Om Ni har en riktad hypotes (”varianten ökar intäkten”) använder Ni ett ensidigt test med parametern alternative: 'greater' eller 'less'. Ett ensidigt test har större statistisk styrka i den specifika riktningen, men ger ingen evidens om den andra riktningen. Bestäm riktningen innan Ni granskar data för att undvika HARKing (Hypothesising After Results are Known).

Det parade t-testet används när varje observation i grupp A har en naturlig motsvarighet i grupp B – till exempel mätningar före och efter en behandling på samma försökspersoner, eller i samma butiker under två olika månader. Parningen kontrollerar för variation mellan försökspersoner, vilket gör testet mer kraftfullt än ett oberoende t-test för samma data. Använd scipy.stats.ttest_rel(before, after). Elementens ordning måste vara matchad: before[i] och after[i] måste komma från samma försöksperson.

t-statistikan mäter hur många standardfel den observerade skillnaden ligger från noll. En t-statistika på 2 innebär att den observerade skillnaden ligger 2 standardfel över det som skulle förväntas under nollhypotesen. För ett tvåsidigt test vid α=0.05 med ett stort stickprov är det kritiska värdet ungefär ±1.96 – alltså ger |t| > 1.96 p < 0.05. p-värdet omvandlar t-statistikan till en sannolikhet, vilket gör den enklare att tolka utan att använda tabeller över t-fördelningen.

Ett p-värde ensamt visar inte effektens storlek. Beräkna alltid ett konfidensintervall för medelskillnaden. Ett 95-procentigt KI som inkluderar noll är förenligt med p > 0.05 (inte signifikant); ett som inte inkluderar noll innebär att skillnaden är signifikant. KI:t visar också om effektstorleken är praktiskt betydelsefull – en statistiskt signifikant intäktsskillnad på $0.01 kan vara irrelevant, medan en skillnad på $50 med p=0.06 fortfarande kan vara viktig för verksamheten.

Statistisk signifikans beror på stickprovsstorleken – med tillräckligt stora stickprov blir även obetydliga skillnader signifikanta. Cohens d mäter praktisk signifikans (effektstorlek): medelskillnaden dividerad med den poolade standardavvikelsen. Riktlinjer: d < 0.2 är försumbar, 0.2–0.5 är liten, 0.5–0.8 är medelstor och > 0.8 är stor. Rapportera alltid effektstorleken tillsammans med p-värden – ett signifikant p-värde med d = 0.05 innebär att skillnaden är verklig, men troligen inte praktiskt betydelsefull.

Det oberoende t-testet förutsätter: (1) oberoende – observationerna inom varje grupp är oberoende av varandra; (2) normalfördelning – data i varje grupp är ungefär normalfördelad (robust för n > 30 tack vare CLT); (3) för Students t-test (equal_var=True), lika varianser. Welchs t-test (equal_var=False) lättar på antagande 3 och bör föredras. När normalfördelningen är allvarligt avviktande vid små stickprov (< 30) använder Ni i stället Mann-Whitneys U-test.

I praktiken finns de data Ni vill testa i en kolumn i en Pandas DataFrame. Ni kan skicka en Pandas Series direkt till funktioner i scipy.stats – de fungerar smidigt både med Series och NumPy-arrayer. Ett vanligt arbetsflöde är att filtrera DataFrame för att få varje grupps Series, köra t-testet och lagra resultaten i en sammanfattande DataFrame. Detta mönster kan skalas till att testa många kolumn- eller grupppar i en loop.

Om Ni kör många t-test samtidigt ökar risken för ett falskt positivt resultat. Om Ni kör 20 t-test med α=0.05 förväntar Ni Er 1 falskt positivt resultat av en slump. Detta är problemet med multipla jämförelser. Tillämpa Bonferroni-korrigering: dividera α med antalet test (p_threshold = 0.05 / n_tests). För större statistisk styrka med mindre konservatism kan Ni använda Benjamini-Hochbergs korrigering för falsk upptäcktsfrekvens (FDR) i statsmodels. Korrigera alltid för multipla jämförelser i A/B-tester med många mätvärden.

I den här lektionen har Ni lärt Er att: ttest_1samp testar ett stickprovsmedelvärde mot ett referensvärde, ttest_ind (Welchs med equal_var=False) jämför två oberoende grupper och ttest_rel hanterar parade mätningar. Rapportera alltid Cohens d tillsammans med p-värdet för att skilja statistisk från praktisk signifikans. Nästa steg är att testa samband mellan kategoriska variabler med chi-två-testet.