Budowanie hipotezy

Pomysł na test jest tylko przypuszczeniem. Hipoteza zamienia go w możliwą do sprawdzenia prognozę, która zawiera uzasadnienie i oczekiwany wynik.

„Wypróbujmy nowy nagłówek” to pomysł. „Nagłówek przedstawiający korzyść zwiększy liczbę rejestracji, ponieważ odwiedzający nie rozumieją wartości oferty” to hipoteza, którą można rzeczywiście ocenić.

Dobra hipoteza składa się z trzech części: zmiany, oczekiwanego efektu i metryki, która go potwierdzi. Uniwersalne zdanie pomaga wszystkim trzymać się faktów.

Przed utworzeniem wariantu należy uzupełnić każdy nawias konkretną i mierzalną treścią.

Najlepsze hipotezy zawierają uzasadnienie proponowanej zmiany. Słowo „ponieważ” zmusza do powiązania testu z rzeczywistym zachowaniem użytkowników.

Szablon można rozszerzyć: „Uważamy, że [zmiana] spowoduje [efekt], ponieważ [wniosek], co zmierzymy za pomocą [metryki]”. Dzięki temu nieudane testy dostarczają informacji, a nie tylko rozczarowania.

Wyobraźmy sobie, że dane z ankiet pokazują brak zaufania użytkowników do cen. Decydują się Państwo dodać gwarancję.

Po zastosowaniu szablonu hipoteza nasuwa się sama. Proszę zauważyć, jak konkretne są zmiana, efekt i metryka.

Niejasnych metryk, takich jak „zaangażowanie” lub „lepsza skuteczność”, nie można rzetelnie mierzyć. Należy wybrać jedną główną metrykę, która bezpośrednio odpowiada zmianie.

Jeśli zmiana dotyczy strony płatności, główną metryką jest zwykle ukończenie płatności lub współczynnik zakupów, a nie wyświetlenia strony czy czas spędzony w witrynie.

Należy śledzić jedną główną metrykę, na podstawie której zostanie wyłoniony zwycięzca, oraz metryki zabezpieczające, które wykryją niezamierzone szkody.

Jeśli skrócenie formularza zwiększy liczbę rejestracji, ale pogorszy jakość potencjalnych klientów na dalszym etapie, metryka zabezpieczająca wykryła pozorny sukces. Obie grupy metryk należy zdefiniować przed uruchomieniem testu.

Testowalna hipoteza przewiduje kierunek zmiany (wzrost lub spadek), a najlepiej także jej przybliżoną skalę. „Współczynnik konwersji się poprawi” to słabe stwierdzenie, natomiast „współczynnik konwersji wzrośnie o co najmniej 10%” jest precyzyjne.

Oczekiwana wielkość efektu pomaga także zaplanować, ile ruchu będzie potrzebował test.

Każda hipoteza powinna wskazywać źródło: dane analityczne, mapy cieplne, ankiety, zgłoszenia do pomocy technicznej lub wcześniejsze testy.

Jeśli nie można wskazać dowodów wyjaśniających, dlaczego zmiana ma zadziałać, pomysł jest tylko przypuszczeniem. Hipotezy oparte na dowodach częściej przynoszą sukces, a gdy okazują się błędne, dostarczają więcej wiedzy.

Dobrą hipotezę można obalić. Jeśli żaden możliwy wynik nie zmieniłby Państwa zdania, jest to opinia, a nie hipoteza.

Należy z wyprzedzeniem określić, jaki wynik spowoduje odrzucenie zmiany. Chroni to przed racjonalizowaniem płaskiego lub negatywnego wyniku po zakończeniu testu.

Przed uruchomieniem testu należy zapisać pełną hipotezę, główną metrykę, metryki zabezpieczające i oczekiwany efekt. Proszę je ustalić, aby później nie można było na nowo interpretować wyników.

Wstępna rejestracja zapobiega wybieraniu tylko wygodnych danych i wzmacnia wiarygodność programu eksperymentów.

Proszę porównać dwie wersje tego samego pomysłu. Słaba wersja jest niemożliwa do przetestowania, a mocna jest konkretna, uzasadniona i mierzalna.

Należy nauczyć zespół przekształcać każdą słabą hipotezę w mocną wersję, zanim rozpocznie się jakiekolwiek prace nad wariantem.

Która opcja jest najsilniejszą hipotezą?

Pomysły należy zamieniać w prognozy za pomocą szablonu: uważamy, że [zmiana] spowoduje [efekt], ponieważ [wniosek], co zmierzymy za pomocą [metryki].

Należy wybrać jedną konkretną główną metrykę oraz metryki zabezpieczające, przewidzieć kierunek i skalę zmiany, oprzeć hipotezę na dowodach, zachować jej falsyfikowalność i udokumentować ją przed uruchomieniem testu.