Szybkie eksperymentowanie i iteracja

Marketerzy odpowiedzialni za wzrost czerpią z metody naukowej: analizują dane, aby zidentyfikować szansę, formułują hipotezę dotyczącą zmiany, która poprawi daną metrykę, projektują kontrolowany eksperyment w celu jej sprawdzenia, obiektywnie mierzą wyniki i wyciągają wnioski, które pomagają zaplanować następny test. Ta zdyscyplinowana pętla zastępuje decyzje oparte na intuicji iteracyjnym działaniem opartym na dowodach.

Dobrze sformułowana hipoteza marketingowa ma następującą strukturę: „Jeśli [wprowadzimy tę zmianę], to [ta metryka] [wzrośnie/zmaleje] o [X%], ponieważ [powód wynikający z zachowania lub psychologii użytkowników]”. Fragment „ponieważ” ma kluczowe znaczenie — zmusza zespół do opisania mechanizmu przyczynowego, dzięki czemu wnioski są wartościowe nawet wtedy, gdy hipoteza okaże się błędna.

Minimalny wykonalny eksperyment (MVE) sprawdza hipotezę przy możliwie najmniejszym nakładzie, zanim zespół zdecyduje się na pełne wdrożenie. Zamiast przebudowywać całą stronę docelową, należy zmienić tylko nagłówek. Zamiast uruchamiać nowy model cenowy, można wyświetlić fake door, aby zmierzyć zainteresowanie. MVE pozwalają utrzymać wysokie tempo eksperymentów i ograniczyć marnowanie wysiłku.

Testy A/B, nazywane również testami dzielonymi, losowo dzielą odbiorców na dwie grupy: grupę kontrolną, która widzi bieżącą wersję (A), oraz grupę wariantową, która widzi nową wersję (B). Jednorazowo zmienia się tylko jedną zmienną. Po zebraniu wystarczającej ilości danych analiza statystyczna określa, czy zaobserwowana różnica jest rzeczywista, czy wynika z przypadku.

Istotność statystyczna, zwykle ustalana na poziomie 95%, oznacza, że prawdopodobieństwo przypadkowego wystąpienia zaobserwowanego wyniku wynosi tylko 5%. Przed uruchomieniem testu należy użyć kalkulatora wielkości próby, aby określić, ile konwersji jest potrzebnych w każdym wariancie do wykrycia istotnego efektu. Przeprowadzanie testów na zbyt małej próbie prowadzi do wyników fałszywie pozytywnych i błędnych decyzji.

Testy wielowymiarowe zmieniają jednocześnie wiele elementów i wykorzystują modele statystyczne do określenia, która kombinacja działa najlepiej. Do osiągnięcia istotności wymagają znacznie większego ruchu niż testy A/B — często dziesięciokrotnie większego. Testy wielowymiarowe warto stosować w przypadku stron o dużym ruchu, wielu wzajemnie oddziałujących elementów do przetestowania oraz wystarczającej ilości czasu na prowadzenie testu, liczonej w tygodniach.

VWO (Visual Website Optimizer) i Optimizely to wiodące platformy eksperymentów, które pozwalają osobom nietechnicznym tworzyć, wdrażać i analizować testy A/B oraz testy wielowymiarowe za pomocą edytorów wizualnych. Unbounce i Instapage służą konkretnie do tworzenia stron docelowych i mają wbudowane testy A/B. Google Optimize wycofano w 2023 roku, przez co wiele zespołów przeniosło się na te alternatywy.

Strona cenowa jest jednym z obszarów SaaS, w których eksperymenty mogą przynieść największe efekty. Do często testowanych elementów należą liczba poziomów cenowych, położenie i nazwa rekomendowanego planu, domyślne ustawienie przełącznika między rozliczeniem rocznym a miesięcznym, układ tabeli porównującej funkcje oraz dodanie lub usunięcie bezpłatnego planu. Niewielkie zmiany w tym obszarze mogą zwiększyć współczynniki konwersji o dwucyfrową wartość procentową.

Każdy eksperyment — niezależnie od tego, czy zakończył się sukcesem, czy porażką — należy zapisać we współdzielonej bazie wniosków wraz z hipotezą, opisem wariantu, metryką, wynikiem, istotnością statystyczną i wnioskiem. Z czasem baza ta staje się zasobem intelektualnym, który zapobiega powtarzaniu nieskutecznych pomysłów i ujawnia wzorce pokazujące, co działa w przypadku konkretnej grupy odbiorców.

Kultura eksperymentowania wymaga bezpieczeństwa psychologicznego, które pozwala dzielić się negatywnymi wynikami, przywództwa nagradzającego uczenie się zamiast samych zwycięstw, jasno określonej odpowiedzialności za backlog eksperymentów oraz celów dotyczących tempa pracy (np. przeprowadzania 10 eksperymentów miesięcznie). Zespoły, które testują częściej, szybciej kumulują wiedzę i wyprzedzają konkurentów polegających na okresowych, dużych inicjatywach.

Firmy, które przeprowadzają więcej eksperymentów w jednostce czasu, uczą się szybciej niż te, które tego nie robią. Amazon słynie z przeprowadzania tysięcy eksperymentów dziennie. Nawet małe zespoły, które zobowiążą się do cotygodniowych testów, mogą w ciągu kwartału zgromadzić wystarczająco dużo wniosków, aby znacząco lepiej optymalizować działania niż konkurencja. Tempo jest kwestią wyboru — wymaga dyscypliny procesowej i inwestycji w narzędzia.

Proszę sprawdzić swoją znajomość podstaw testów A/B oraz roli istotności statystycznej.

Zdyscyplinowane eksperymentowanie jest motorem wzrostu opartego na danych. Należy zawsze formułować hipotezy z przyczynowym „ponieważ”, projektować minimalne eksperymenty możliwe do przeprowadzenia, aby oszczędzać zasoby, upewniać się co do istotności statystycznej przed wyciąganiem wniosków, dokumentować każdy wynik w bazie wniosków oraz budować kulturę organizacyjną nagradzającą szybkie tempo testowania. Wygrywają zespoły, które uczą się najszybciej.