Wybór istotnych metryk

Challenger może uzyskać lepszą dokładność offline, a mimo to przynosić straty. Metryką rozstrzygającą test A/B powinien być faktyczny efekt biznesowy, na którym Państwu zależy. 💡

Metryki offline, takie jak F1 czy AUC, pochodzą ze statycznego zbioru testowego. Metryki online wynikają z zachowania użytkowników na żywo i tylko one pokazują rzeczywisty wpływ na środowisko produkcyjne.

Z góry wybierz jedną główną metrykę, na przykład współczynnik konwersji lub przychód na użytkownika. Podejmowanie decyzji dopiero po obejrzeniu danych prowadzi do samooszukiwania się zespołów.

Dobra główna metryka jest powiązana z wartością, zmienia się wraz z działaniem modelu i można ją mierzyć dla pojedynczego użytkownika. Klasyczne przykłady to współczynnik kliknięć, zakupy i czas oglądania.

Śledź także metryki ochronne: elementy, które nie mogą się pogorszyć, takie jak opóźnienie, współczynnik błędów czy odpływ użytkowników. Zwycięstwo, które narusza metrykę ochronną, nie jest prawdziwym zwycięstwem.

Wzrost oznacza, o ile challenger poprawia wynik względem championa dla głównej metryki, zwykle wyrażony jako zmiana procentowa.

Metryka próżności wygląda świetnie, ale nie przynosi żadnej wartości, jak surowa liczba odsłon. Ładne liczby, które nie mają związku z biznesem, mogą wprowadzić w błąd cały zespół.

Liczba kliknięć to łatwa metryka zastępcza zadowolenia, ale użytkownicy mogą kliknąć i zaraz potem opuścić stronę. Upewnij się, że metryka zastępcza rzeczywiście odzwierciedla pożądany wynik.

Średnia może ukrywać problemy. Model może poprawiać wyniki dla nowych użytkowników, a szkodzić lojalnym, dlatego sprawdzaj metrykę dla kluczowych segmentów, a nie tylko dla całości.

Niektóre wyniki, takie jak zwrot pieniędzy lub odnowienie subskrypcji, pojawiają się dopiero po kilku dniach. Wybierz metrykę, której sygnał pojawi się w czasie trwania testu, w przeciwnym razie decyzję podejmiesz zbyt wcześnie.

Ustal główną metrykę, metryki ochronne i próg sukcesu przed rozpoczęciem testu. Spisany plan powstrzyma Państwa przed wybieraniem później najbardziej korzystnej liczby. ✅

Sprawdźmy, która metryka powinna rozstrzygać test.

Przed testem wybierz jedną główną metrykę biznesową, chroń ją za pomocą metryk ochronnych i unikaj metryk próżności oraz zastępczych. Podziel wyniki na segmenty i uwzględniaj opóźnione sygnały. 🎯