Odczytywanie wyników

Po zakończeniu testu najpierw sprawdź jedną główną metrykę, którą wcześniej zarejestrowano. To właśnie ta pojedyncza liczba rozstrzyga o zwycięstwie.

Nie ulegaj pokusie przeszukiwania metryk dodatkowych w poszukiwaniu jakiegokolwiek pozytywnego sygnału. Wybieranie przypadkowego sukcesu to sposób, w jaki zespoły przekonują się, że test bez efektu zakończył się powodzeniem.

Przejrzysta tabela wyników pokazuje liczbę odwiedzających, konwersje, współczynnik konwersji, względny wzrost oraz poziom ufności dla każdego wariantu.

Przejrzyj ją od góry do dołu. Zanim zaczniesz świętować wzrost, upewnij się, że wielkości prób są zrównoważone, a poziom ufności spełnia ustalony próg.

Każdy test kończy się zwycięstwem, porażką albo wynikiem nierozstrzygającym. Wszystkie trzy rezultaty są wartościowe.

Zwycięstwo mówi, co należy wdrożyć. Porażka pokazuje, czego unikać. Wynik nierozstrzygający oznacza, że efekt — jeśli w ogóle wystąpił — był zbyt mały, aby wykryć go przy obecnym ruchu.

Brak efektu nie oznacza, że test został zmarnowany. Pozwala odrzucić hipotezę i uchronić przed wdrożeniem czegoś, co nic nie zmienia.

Traktuj testy nierozstrzygające jako dowód. Zmiana mogła być zbyt subtelna, ruch zbyt mały albo wniosek błędny. Każdy z tych rezultatów podpowiada, gdzie szukać dalej.

Przed wdrożeniem zwycięskiego wariantu upewnij się, że metryki zabezpieczające nie zmieniły się w niepożądanym kierunku. Wzrost liczby rejestracji niewiele znaczy, jeśli jednocześnie gwałtownie wzrosły zwroty lub rezygnacje.

Prawdziwe zwycięstwo poprawia główną metrykę, nie pogarszając kondycji firmy w dalszych etapach.

Ogólny brak efektu może ukrywać przeciwne rezultaty w różnych segmentach. Wariant może wygrywać na urządzeniach mobilnych, ale przegrywać na komputerach, co w sumie daje zero.

Podziel wyniki według urządzenia, źródła ruchu albo użytkowników nowych i powracających, ale traktuj wnioski z segmentów jako nowe hipotezy, a nie potwierdzone zwycięstwa.

Dzielenie danych na wiele segmentów zwiększa prawdopodobieństwo znalezienia gdzieś pozornego zwycięzcy. Jeśli przetestujesz wystarczająco wiele podgrup, jedna z nich przez przypadek będzie wyglądać na istotną.

Jeśli jakiś segment wygląda obiecująco, zweryfikuj go w nowym, osobnym teście, zanim podejmiesz działanie. Nigdy nie wdrażaj zmiany wyłącznie na podstawie analizy wykonanej post hoc.

Przełóż względny wzrost procentowy na język biznesu. Wzrost o 17% może brzmieć świetnie, ale interesariuszy interesują przychody.

Pomnóż nowy współczynnik konwersji przez liczbę odwiedzających i średnią wartość, aby oszacować roczny wpływ. Ta liczba wpływa na decyzję o wdrożeniu oraz na plan rozwoju produktu.

Zapisz hipotezę, wynik, poziom ufności, wielkość efektu i decyzję we wspólnym rejestrze. Wyniki wcześniejszych testów tworzą bazę wiedzy, która zapobiega powtarzaniu nieskutecznych działań.

Udostępniaj zespołowi zarówno sukcesy, jak i porażki, aby wnioski kumulowały się w całym programie eksperymentów.

Zwycięstwo w teście nie gwarantuje takiego samego wzrostu na produkcji. Po wdrożeniu dla 100% użytkowników monitoruj metrykę przez kilka tygodni.

Efekt nowości, sezonowość i błędy implementacji mogą osłabić rezultat. Zanim uwzględnisz prognozowane przychody, upewnij się, że zwycięstwo się utrzymuje.

Optymalizacja to pętla, a nie jednorazowe działanie. Każdy wynik, zarówno sukces, jak i porażka, powinien prowadzić do sformułowania kolejnej hipotezy.

Skuteczna plakietka podkreślająca ograniczenie ryzyka może zainspirować do przetestowania silniejszej gwarancji. Przegrany układ kieruje uwagę w inną stronę. Ciągłe eksperymentowanie zamienia małe przyrosty w duże rezultaty.

Oceniaj testy na podstawie wcześniej zarejestrowanej głównej metryki i przed wdrożeniem sprawdzaj metryki zabezpieczające. Wyniki nierozstrzygające również dostarczają wiedzy.

Ostrożnie analizuj segmenty, unikając selektywnego wyszukiwania wyników, przekładaj wzrosty na wpływ biznesowy, dokumentuj każdy test, weryfikuj zwycięstwa na produkcji i wykorzystuj każdy rezultat w kolejnym eksperymencie.