Statistisk signifikans

P-värdet uppskattar sannolikheten att observera Ert resultat, eller ett ännu mer extremt resultat, om det faktiskt inte fanns någon skillnad mellan varianterna.

Ett lågt p-värde innebär att resultatet skulle vara osannolikt om det enbart berodde på slumpen. Marknadsförare använder ofta p under 0,05 som tröskel för att fastställa signifikans.

De flesta A/B-verktyg rapporterar en konfidensnivå i stället för ett rått p-värde. En konfidensnivå på 95 % motsvarar ett p-värde under 0,05.

Det innebär följande: om ingenting faktiskt hade förändrats skulle Ni se en så här stor skillnad endast ungefär 5 % av gångerna. Högre konfidens kräver mer data.

Statistisk styrka är sannolikheten att testet upptäcker en verklig effekt när en sådan finns. Låg styrka innebär att verkliga vinnare passerar obemärkta.

Det vanliga målet är 80 % statistisk styrka. Tester med för låg styrka slösar bort trafik och ger otydliga resultat som frestar Er att avsluta dem för tidigt.

Den minsta detekterbara effekten, eller MDE, är den minsta förbättring som Ni vill att testet ska kunna upptäcka på ett tillförlitligt sätt.

Att upptäcka en liten ökning på 1 % kräver betydligt mer trafik än att upptäcka en ökning på 10 %. Ange en realistisk MDE före lanseringen. Den avgör direkt hur stort stickprov Ni behöver.

Före testet ska Ni mata in Er utgångsgrad, önskade MDE, konfidensnivå och statistiska styrka i en stickprovsberäknare. Den visar hur många besökare varje variant behöver.

Håll fast vid det antalet. Att avsluta tidigt eftersom B ”ser ut att vinna” är det vanligaste sättet för team att lura sig själva.

Om Ni kontrollerar resultaten upprepade gånger och avslutar så snart signifikans uppstår ökar andelen falskt positiva resultat kraftigt.

Varje kontroll är ytterligare en möjlighet för slumpmässigt brus att passera gränsen. Bestäm stickprovsstorlek och varaktighet på förhand och vänta sedan. Avsluta inte vid det första positiva resultatet.

Beteendet skiljer sig åt mellan vardagar, helger och löneutbetalningsdagar. Ett test som körs från måndag till onsdag missar helgkunder helt.

Kör testet i minst en eller två hela veckor så att varje variant får se en representativ blandning av trafik. Både stickprovsstorlek och tid krävs för ett giltigt resultat.

Ett resultat kan vara statistiskt signifikant men ändå för litet för att ha betydelse för verksamheten. Vid mycket hög trafik kan till och med en ökning på 0,1 % nå 95 % konfidens.

Koppla alltid ihop signifikans med effektstorleken och dess praktiska värde. Fråga Er: är ökningen tillräckligt stor för att motivera ändringen?

Konfidensintervallet visar det rimliga spannet för den verkliga effekten. En punktskattning på +8 % med ett intervall från −1 % till +17 % är osäker.

Föredra resultat där hela intervallet förblir positivt. Ett brett intervall som korsar noll innebär att Ni inte kan vara säkra på att förändringen hjälper över huvud taget.

Signifikans skiljer verkliga effekter från slumpmässigt brus. Sikta på 95 % konfidens och 80 % statistisk styrka, fastställ ett MDE och beräkna stickprovsstorleken innan Ni startar.

Undvik att tjuvkika, kör hela affärscykler och bedöm resultaten utifrån effektstorlek och konfidensintervall, inte enbart signifikans.