Чтение результатов

Когда тест завершится, сначала посмотрите на единственную основную метрику, которую Вы зарегистрировали заранее. Именно это число определяет победителя.

Не поддавайтесь желанию искать положительный сигнал среди вторичных метрик. Выборочное выделение случайной победы — вот как команды убеждают себя, что тест без изменений оказался успешным.

В ясной таблице результатов для каждого варианта указаны посетители, конверсии, коэффициент конверсии, относительный прирост и доверительный уровень.

Просмотрите таблицу сверху вниз. Убедитесь, что размеры выборок сбалансированы, а уровень доверия достигает установленного Вами порога, прежде чем праздновать любой прирост.

Каждый тест заканчивается победой, поражением или неубедительным результатом. Все три исхода ценны.

Победа показывает, что следует запустить. Поражение показывает, чего следует избегать. Неубедительный результат говорит о том, что эффект, если он вообще был, оказался слишком мал, чтобы его обнаружить при Вашем объёме трафика.

Результат без изменений — это не напрасно проведённый тест. Он опровергает гипотезу и избавляет Вас от запуска того, что ничего не даёт.

Рассматривайте неубедительные тесты как свидетельства. Возможно, изменение было слишком незаметным, трафик — слишком малым, а вывод — ошибочным. Каждый такой результат подсказывает, где искать дальше.

Перед запуском победившего варианта убедитесь, что защитные метрики не изменились в неблагоприятную сторону. Прирост регистраций мало значит, если резко увеличились возвраты или отток.

Настоящая победа улучшает основную метрику, не ухудшая состояние бизнеса на последующих этапах.

Общий результат без изменений может скрывать противоположные эффекты в разных сегментах. Вариант может победить на мобильных устройствах и проиграть на компьютерах, так что в итоге получится ноль.

Разбивайте результаты по устройству, источнику трафика или новым и вернувшимся пользователям, но рассматривайте выводы по сегментам как новые гипотезы, а не как подтверждённые победы.

Разделение данных на множество сегментов увеличивает вероятность случайно найти где-нибудь мнимого победителя. Если проверить достаточно подгрупп, одна из них по воле случая покажется значимой.

Если сегмент выглядит перспективным, проверьте это с помощью нового отдельного теста, прежде чем действовать. Никогда не запускайте вариант, основываясь только на разбиении данных после завершения теста.

Переведите процентный прирост в показатели бизнеса. Относительный прирост в 17% звучит отлично, но заинтересованные стороны думают о выручке.

Умножьте новый коэффициент конверсии на объём трафика и среднюю ценность, чтобы спрогнозировать годовой эффект. Это число определяет решение о запуске и Вашу дорожную карту.

Запишите гипотезу, результат, уровень доверия, величину эффекта и решение в общем журнале. Прошлые тесты образуют базу знаний, которая не позволяет повторять тупиковые попытки.

Делитесь с командой и победами, и поражениями, чтобы знания накапливались во всей программе экспериментов.

Победа в тесте не гарантирует такого же прироста в рабочей среде. После полного развёртывания отслеживайте метрику в течение нескольких недель.

Эффекты новизны, сезонность и ошибки реализации могут ослабить результат. Убедитесь, что победа сохраняется, прежде чем закладывать прогнозируемую выручку.

Оптимизация — это цикл, а не разовая задача. Каждый результат, будь то победа или поражение, должен порождать следующую гипотезу.

Победивший значок, снижающий риск, может вдохновить Вас проверить более сильную гарантию. Проигравший вариант компоновки указывает на другое направление. Непрерывные эксперименты превращают небольшие улучшения в крупные результаты.

Оценивайте тесты по заранее зарегистрированной основной метрике и проверяйте защитные метрики перед запуском. Неубедительные результаты тоже дают знания.

Осторожно анализируйте сегменты, не занимаясь поиском случайных побед, переводите прирост в показатели влияния на бизнес, документируйте каждый тест, проверяйте победы в рабочей среде и используйте каждый результат в следующем эксперименте.