Выбор действительно важных метрик

Модель-претендент может показать лучшую точность на отложенных данных, но принести убытки. Метрикой, которая определяет результат A/B-теста, должен быть тот результат для бизнеса, который действительно важен для Вас. 💡

Метрики на отложенных данных, такие как F1 или AUC, вычисляются на статическом наборе для проверки. Метрики в рабочей среде основаны на поведении реальных пользователей, и только они показывают настоящее влияние на работу системы.

Заранее выберите одну основную метрику, например коэффициент конверсии или доход на пользователя. Решать после просмотра данных — верный способ обмануть себя.

Надёжная основная метрика связана с ценностью, меняется вместе с моделью и измеряется для каждого пользователя. Классические примеры — переходы по ссылкам, покупки и время просмотра.

Отслеживайте также защитные метрики: показатели, которые не должны ухудшиться, например задержку, долю ошибок или отток. Результат, достигнутый ценой нарушения защитного ограничения, нельзя считать настоящей победой.

Прирост показывает, насколько модель-претендент улучшила результат по сравнению с текущей лучшей моделью по основной метрике, обычно в виде процентного изменения.

Показательная метрика выглядит впечатляюще, но не создаёт ценности, например простое число просмотров страниц. Красивые числа, не связанные с бизнесом, могут ввести в заблуждение всю команду.

Переходы по ссылкам — удобный косвенный показатель удовлетворённости, но пользователь может перейти и сразу уйти. Убедитесь, что косвенный показатель действительно отражает нужный Вам результат.

Среднее значение может скрывать проблемы. Модель может улучшить результат для новых пользователей, но навредить постоянным, поэтому проверяйте метрику по ключевым сегментам, а не только в целом.

Некоторые результаты, например возврат средств или продление подписки, появляются через несколько дней. Выбирайте метрику, сигнал которой появляется в пределах окна тестирования, иначе Вы примете решение слишком рано.

Зафиксируйте основную метрику, защитные ограничения и порог успеха до начала теста. Письменный план не позволит позже выбрать наиболее выгодное число. ✅

До начала теста выберите одну основную бизнес-метрику, защитите её ограничениями и избегайте показательных косвенных показателей. Разбивайте результаты по сегментам и учитывайте запаздывающие сигналы. 🎯