Istotność statystyczna

Współczynniki konwersji zmieniają się losowo. Jeśli wariant B uzyska wynik lepszy od A o 2% przy małej próbie, ta różnica może być wyłącznie przypadkowym szumem.

Istotność statystyczna pokazuje, jak prawdopodobne jest, że zaobserwowana różnica jest rzeczywista, a nie wynika z losowego przypadku. Bez niej można wdrożyć zmiany, które niczego nie poprawiają.

Każdy pomiar obejmuje pewne wahania. Po dziesięciu rzutach uczciwą monetą rzadko wypada dokładnie pięć orłów.

To samo dotyczy konwersji. Krótki test może wskazać fałszywego zwycięzcę tylko dlatego, że jeden z wariantów miał szczęśliwą serię. Istotność pozwala oddzielić rzeczywisty sygnał od tego szumu.

Wartość p szacuje prawdopodobieństwo uzyskania danego wyniku lub wyniku bardziej skrajnego, gdyby między wariantami rzeczywiście nie było różnicy.

Niska wartość p oznacza, że uzyskanie takiego wyniku byłoby mało prawdopodobne wyłącznie przez przypadek. Marketerzy często przyjmują wartość p poniżej 0,05 jako próg istotności.

Większość narzędzi do testów A/B podaje poziom ufności zamiast surowej wartości p. Poziom ufności 95% odpowiada wartości p poniżej 0,05.

Oznacza to, że gdyby w rzeczywistości nic się nie zmieniło, różnica tej wielkości wystąpiłaby tylko w około 5% przypadków. Wyższy poziom ufności wymaga większej ilości danych.

Moc statystyczna to prawdopodobieństwo wykrycia przez test rzeczywistego efektu, jeśli taki efekt istnieje. Niska moc oznacza, że rzeczywiści zwycięzcy mogą pozostać niezauważeni.

Standardowym celem jest moc na poziomie 80%. Testy o zbyt małej mocy marnują ruch i prowadzą do niejednoznacznych wyników, przez co można ulec pokusie zbyt wczesnego ich zakończenia.

Minimalny wykrywalny efekt, czyli MDE, to najmniejsza poprawa, którą test ma niezawodnie wykryć.

Wykrycie niewielkiego wzrostu o 1% wymaga znacznie większego ruchu niż wykrycie wzrostu o 10%. Przed uruchomieniem testu należy ustawić realistyczny MDE, ponieważ bezpośrednio określa on wymaganą wielkość próby.

Przed rozpoczęciem testu należy wprowadzić współczynnik bazowy, docelowy MDE, poziom ufności i moc statystyczną do kalkulatora wielkości próby. Kalkulator pokaże, ilu odwiedzających potrzebuje każdy wariant.

Należy zobowiązać się do zebrania tej liczby danych. Zakończenie testu tylko dlatego, że wariant B „wygląda na zwycięzcę”, to najczęstszy sposób, w jaki zespoły wprowadzają się w błąd.

Wielokrotne sprawdzanie wyników i zatrzymywanie testu w chwili pojawienia się istotności znacznie zwiększa odsetek wyników fałszywie dodatnich.

Każde sprawdzenie to kolejna szansa, że losowy szum przekroczy próg. Należy z wyprzedzeniem ustalić wielkość próby i czas trwania testu, a następnie poczekać. Nie wolno kończyć testu po pierwszym pozytywnym wyniku.

Zachowania różnią się w dni powszednie, weekendy i dni wypłat. Test trwający od poniedziałku do środy całkowicie pomija osoby robiące zakupy w weekend.

Test powinien trwać co najmniej jeden lub dwa pełne tygodnie, aby każdy wariant zobaczył reprezentatywną mieszankę ruchu. Zarówno wielkość próby, jak i czas trwania warunkują wiarygodność wyniku.

Wynik może być istotny statystycznie, a jednocześnie zbyt mały, aby miał znaczenie dla firmy. Przy bardzo dużym ruchu nawet wzrost o 0,1% może osiągnąć poziom ufności 95%.

Istotność należy zawsze rozpatrywać razem z wielkością efektu i jego praktyczną wartością. Proszę zadać sobie pytanie: czy ten wzrost jest wystarczająco duży, aby uzasadnić zmianę?

Przedział ufności pokazuje prawdopodobny zakres rzeczywistego efektu. Oszacowanie punktowe wynoszące +8% przy przedziale od -1% do +17% jest niepewne.

Preferuj wyniki, w których cały przedział pozostaje dodatni. Szeroki przedział obejmujący zero oznacza, że nie można mieć pewności, czy zmiana w ogóle pomaga.

Sprawdź swoją wiedzę na temat istotności statystycznej.

Istotność statystyczna pozwala odróżnić rzeczywiste efekty od losowego szumu. Należy dążyć do 95% poziomu ufności i 80% mocy statystycznej, ustalić MDE oraz obliczyć wielkość próby przed uruchomieniem testu.

Nie zaglądaj do wyników przed zakończeniem testu, obejmij nim pełne cykle biznesowe i oceniaj wyniki na podstawie wielkości efektu oraz przedziału ufności, a nie samej istotności.