Testowanie elementów, które konwertują

Opinie na temat tego, co konwertuje, często są błędne. Testowanie zastępuje zgadywanie dowodami, porównując wersje strony na podstawie rzeczywistych zachowań odwiedzających.

CRO, czyli optymalizacja współczynnika konwersji, to metodyczne prowadzenie takich testów, aby stale poprawiać wyniki zamiast przeprojektowywać stronę na podstawie przeczucia.

Test A/B pokazuje połowie odwiedzających wersję A, a drugiej połowie wersję B, a następnie mierzy, która z nich konwertuje lepiej.

Ponieważ ruch jest dzielony losowo i w tym samym czasie, czynniki zewnętrzne wpływają na obie wersje w równym stopniu. Różnica we współczynniku konwersji wskazuje na wpływ wprowadzonej zmiany.

Dobry test zaczyna się od jasnej hipotezy, a nie od losowych eksperymentów. Należy określić, co zostanie zmienione, jakiego wyniku się oczekuje i dlaczego.

To nadaje testom konkretny cel i sprawia, że wynik ma znaczenie niezależnie od tego, czy test zakończy się sukcesem, czy porażką. Test, który obala przekonanie, jest nadal wartościową lekcją.

Aby wiedzieć, co spowodowało zmianę wyników, należy zmieniać jeden element naraz: nagłówek, kolor przycisku lub długość formularza, ale nie wszystkie trzy jednocześnie.

Zmiana kilku rzeczy naraz może pokazać, że strona się poprawiła, ale nie wskaże, która zmiana za to odpowiada. Należy wyizolować zmienną, aby wyciągnąć wniosek.

Nie wszystkie elementy mają takie samo znaczenie. Nagłówek, główna oferta, CTA i sekcja hero zwykle najbardziej wpływają na konwersję, dlatego od nich należy zacząć.

Małe poprawki kosmetyczne rzadko powodują duże wahania. Budżet na testy należy przeznaczać tam, gdzie potencjalny zysk jest największy.

Test potrzebuje wystarczającej liczby odwiedzających i konwersji, zanim jego wynik zacznie cokolwiek znaczyć. Ogłoszenie zwycięzcy po zaledwie kilku konwersjach to najczęstszy błąd w testowaniu.

Przed rozpoczęciem należy określić wymaganą wielkość próby i prowadzić test wystarczająco długo, aby uchwycić normalne wahania z dnia na dzień — najlepiej przez pełne tygodnie.

Istotność statystyczna szacuje prawdopodobieństwo, że różnica jest rzeczywista, a nie wynika z losowego szumu. Często stosowanym progiem jest 95-procentowy poziom ufności.

Poniżej tego poziomu pozorny zwycięzca może być tylko dziełem przypadku. Istotność chroni przed wdrożeniem zmiany, która w rzeczywistości nie pomaga.

Zatrzymanie testu w chwili, gdy wersja B wychodzi na prowadzenie — nazywane podglądaniem wyników — zawyża liczbę fałszywych zwycięstw. Początkowa przewaga często znika wraz z napływem danych.

Warunki zakończenia należy ustalić z wyprzedzeniem i ich przestrzegać. Należy również unikać prowadzenia testów w nietypowych okresach, takich jak wyprzedaż świąteczna, które zniekształcają normalne zachowania.

Test wielowymiarowy zmienia kilka elementów jednocześnie i mierzy każdą kombinację. Może ujawnić, jak elementy na siebie oddziałują, ale wymaga znacznie większego ruchu.

Na większości stron bardziej praktyczne są sekwencyjne testy A/B. Testy wielowymiarowe należy rezerwować dla stron o dużym ruchu, które mogą zapewnić odpowiednią jego ilość.

Test jest użyteczny tylko wtedy, gdy wyciąga się z niego praktyczne wnioski. Należy wdrożyć zwycięską wersję, udokumentować zdobytą wiedzę i wykorzystać ten wniosek przy formułowaniu kolejnej hipotezy.

CRO to pętla: badanie, formułowanie hipotezy, testowanie, nauka i powtórzenie. Systematyczne iteracje z czasem przynoszą łącznie duże wzrosty.

Przyrost pokazuje, o ile zwycięski wariant poprawił wynik względem wersji kontrolnej, wyrażając tę poprawę jako procent pierwotnego współczynnika konwersji. W ten sposób jasno komunikuje się wpływ interesariuszom.

Przyrost zawsze należy zestawiać z poziomem ufności, aby wynik był rzetelny. Duży przyrost przy niskim poziomie ufności nie daje jeszcze podstaw do decyzji.

Testowanie zastępuje opinie dowodami. Testy A/B dzielą ruch, aby porównać wersje, kierując się jasno sformułowaną hipotezą i jedną odizolowaną zmienną oraz koncentrując się najpierw na elementach o największym wpływie.

Należy poczekać na odpowiednią liczebność próby i istotność statystyczną, unikać zaglądania do wyników przed czasem, a następnie wdrożyć zwycięską wersję i dalej ją udoskonalać. Wyniki należy przedstawiać jako wzrost wraz z poziomem ufności.