T-tests til sammenligning af middelværdier

En t-test er en hypotesetest, der afgør, om en forskel mellem gruppers middelværdier er statistisk signifikant eller sandsynligvis skyldes tilfældigheder. Den sammenligner den observerede forskel med variationen i dataene og frembringer en t-statistik og en p-værdi. Hvis p ≤ 0.05 (den almindelige grænse), afviser vi nulhypotesen om, at middelværdierne er ens. Der findes tre almindelige typer: one-sample, independent two-sample og paired t-test, som hver bruges til forskellige forsøgsdesign.

One-sample t-testen tester, om middelværdien for et udsnit afviger signifikant fra en kendt eller hypotetisk populationsmiddelværdi. Eksempel: »Er vores gennemsnitlige leveringstid signifikant forskellig fra branchestandarden på 3 dage?« Brug scipy.stats.ttest_1samp(data, popmean). Nulhypotesen er H₀: mean = popmean. En lille p-værdi får dig til at afvise H₀ og konkludere, at udsnittets middelværdi afviger fra målet.

Den uafhængige t-test for to stikprøver sammenligner gennemsnittene for to uafhængige grupper. For eksempel: »Giver A/B-testvarianten en højere gennemsnitlig omsætning end kontrolgruppen?« Brug scipy.stats.ttest_ind(group_a, group_b). Parameteren equal_var er vigtig: indstil equal_var=False (Welchs t-test), når de to grupper kan have forskellige varianser. Det er det sikre standardvalg for de fleste virkelige datasæt.

Som standard er t-test tosidede: De tester, om gennemsnittene er forskellige i en af retningerne (større ELLER mindre end). Hvis du har en retningsbestemt hypotese (»varianten øger omsætningen«), skal du bruge en ensidet test med parameteren alternative: 'greater' eller 'less'. En ensidet test har større styrke i den specifikke retning, men giver ingen evidens for den modsatte retning. Fastlæg retningen før du ser på dataene, så du undgår HARKing (hypotesedannelse efter kendskab til resultaterne).

Den parrede t-test bruges, når hver observation i gruppe A har en naturlig partner i gruppe B — for eksempel målinger før og efter en behandling af de samme forsøgspersoner eller i de samme butikker i to forskellige måneder. Parringen kontrollerer for variation mellem forsøgspersoner, hvilket gør testen mere effektiv end en uafhængig t-test for de samme data. Brug scipy.stats.ttest_rel(before, after). Elementernes rækkefølge skal passe sammen: before[i] og after[i] skal stamme fra den samme forsøgsperson.

t-statistikken måler, hvor mange standardfejl den observerede forskel ligger fra nul. En t-statistik på 2 betyder, at den observerede forskel ligger 2 standardfejl over det, der ville forventes under nulhypotesen. For en tosidet test ved α=0,05 med en stor stikprøve er den kritiske værdi cirka ±1,96 — så |t| > 1,96 giver p < 0,05. p-værdien omdanner t-statistikken til en sandsynlighed, så den bliver lettere at fortolke uden at slå op i tabeller over t-fordelingen.

En p-værdi alene fortæller dig ikke noget om effektens størrelse. Beregn altid et konfidensinterval for forskellen mellem gennemsnittene. Et 95 %-KI, der indeholder nul, er foreneligt med p > 0,05 (ikke signifikant); et interval, der ikke indeholder nul, betyder, at forskellen er signifikant. KI'et fortæller også, om effektstørrelsen er praktisk betydningsfuld — en statistisk signifikant forskel på 0,01 $ i omsætning kan være irrelevant, mens en forskel på 50 $ med p=0,06 stadig kan have betydning for virksomheden.

Statistisk signifikans afhænger af stikprøvestørrelsen — med tilstrækkeligt store stikprøver bliver selv ubetydelige forskelle signifikante. Cohens d måler praktisk signifikans (effektstørrelse): forskellen mellem gennemsnittene divideret med den samlede standardafvigelse. Retningslinjer: d < 0,2 er ubetydelig, 0,2–0,5 er lille, 0,5–0,8 er middelstor, og > 0,8 er stor. Rapportér altid effektstørrelsen sammen med p-værdier — en signifikant p-værdi med d = 0,05 betyder, at forskellen er reel, men sandsynligvis ikke praktisk betydningsfuld.

Den uafhængige t-test forudsætter: (1) uafhængighed — observationerne inden for hver gruppe er uafhængige af hinanden; (2) normalitet — dataene i hver gruppe er tilnærmelsesvist normalfordelte (robust for n > 30 via CLT); (3) for Students t-test (equal_var=True), ens varianser. Welchs t-test (equal_var=False) lemper forudsætning 3 og foretrækkes derfor. Når normaliteten er alvorligt overtrådt ved små stikprøver (< 30), skal du i stedet bruge Mann-Whitneys U-test.

I praksis ligger de data, du vil teste, i en kolonne i en Pandas DataFrame. Du kan sende en Pandas-serie direkte til funktioner i scipy.stats — de fungerer problemfrit med både serier og NumPy-arrays. En almindelig arbejdsgang er at filtrere DataFrame-en for at hente hver gruppes serie, køre t-testen og gemme resultaterne i en oversigts-DataFrame. Dette mønster kan udvides til at teste mange par af kolonner eller grupper i en løkke.

Hvis du kører mange t-test samtidig, øges risikoen for et falsk positivt resultat. Hvis du kører 20 t-test ved α=0,05, forventer du 1 falsk positivt resultat alene på grund af tilfældigheder. Det er problemet med multiple sammenligninger. Anvend Bonferroni-korrektionen: divider α med antallet af test (p_threshold = 0.05 / n_tests). Du får større styrke med mindre konservatisme ved at bruge Benjamini-Hochbergs korrektion for falske opdagelser (FDR), som findes i statsmodels. Korrigér altid for multiple sammenligninger i A/B-test med mange målinger.

I denne lektion lærte du: ttest_1samp tester et stikprøvegennemsnit mod en referenceværdi, ttest_ind (Welchs med equal_var=False) sammenligner to uafhængige grupper, og ttest_rel håndterer parrede målinger. Rapportér altid Cohens d sammen med p-værdien for at skelne mellem statistisk og praktisk signifikans. Dernæst tester vi relationer mellem kategoriske variabler med chi-i-anden-testen.