Статистическая значимость

Коэффициенты конверсии случайным образом колеблются. Если вариант B опережает вариант A на 2% на небольшой выборке, эта разница может быть всего лишь шумом.

Статистическая значимость показывает, насколько вероятно, что наблюдаемая разница реальна, а не случайна. Без нее вы рискуете запустить изменения, которые ничего не дают.

Любое измерение содержит вариативность. Если десять раз подбросить честную монету, редко выпадает ровно пять орлов.

То же относится к конверсиям. Короткий тест может объявить вариант победителем лишь потому, что ему случайно повезло. Значимость отделяет настоящий сигнал от этого шума.

p-значение оценивает вероятность получить ваш результат или еще более экстремальный результат, если на самом деле различий между вариантами нет.

Малое p-значение означает, что такой результат маловероятен по одной лишь случайности. Маркетологи обычно считают p ниже 0,05 порогом статистической значимости.

Большинство инструментов A/B-тестирования сообщают об уровне доверия, а не о необработанном p-значении. Уровень доверия 95% соответствует значению p ниже 0,05.

Это означает: если на самом деле ничего не изменилось, разницу такого размера можно было бы увидеть примерно в 5% случаев. Более высокий уровень доверия требует больше данных.

Мощность — это вероятность того, что тест обнаружит реальный эффект, если он существует. При низкой мощности реальные победители могут остаться незамеченными.

Стандартная целевая мощность составляет 80%. Тесты с недостаточной мощностью расходуют трафик и дают неубедительные результаты, из-за чего возникает соблазн завершить их слишком рано.

Минимальный обнаруживаемый эффект, или MDE, — это наименьшее улучшение, которое вы хотите надежно обнаруживать с помощью теста.

Для обнаружения небольшого прироста в 1% потребуется гораздо больше трафика, чем для обнаружения прироста в 10%. До запуска задайте реалистичный MDE: он напрямую определяет необходимый размер выборки.

До запуска подставьте исходный коэффициент, целевой MDE, уровень доверия и мощность в калькулятор размера выборки. Он сообщит, сколько посетителей нужно для каждого варианта.

Придерживайтесь этого числа. Досрочное завершение теста из-за того, что вариант B «выглядит как победитель», — самый распространенный способ обмануть себя.

Повторная проверка результатов и остановка теста сразу после появления значимости резко увеличивают долю ложноположительных результатов.

Каждая проверка дает случайному шуму еще один шанс пересечь порог. Заранее определите размер выборки и длительность теста, а затем ждите. Не останавливайте тест после первого положительного результата.

Поведение пользователей различается в будни, выходные и дни выплаты зарплаты. Тест, который проводится с понедельника по среду, полностью упускает покупателей выходных дней.

Проводите тест как минимум одну-две полные недели, чтобы каждый вариант увидел представительный состав трафика. И размер выборки, и длительность необходимы для достоверного результата.

Результат может быть статистически значимым, но слишком небольшим, чтобы иметь значение для бизнеса. При огромном объеме трафика даже прирост в 0,1% может достичь уровня доверия 95%.

Всегда рассматривайте значимость вместе с размером эффекта и его практической ценностью. Спросите себя: достаточно ли велик этот прирост, чтобы оправдать изменение?

Доверительный интервал показывает правдоподобный диапазон истинного эффекта. Точечная оценка в +8% с интервалом от −1% до +17% ненадёжна.

Предпочитайте результаты, в которых весь интервал остаётся положительным. Широкий интервал, пересекающий ноль, означает, что нельзя уверенно сказать, помогает ли изменение вообще.

Проверьте, насколько хорошо Вы понимаете статистическую значимость.

Статистическая значимость отделяет реальные эффекты от случайного шума. Стремитесь к 95%-ной доверительной вероятности и мощности 80%, задайте MDE и рассчитайте размер выборки до запуска.

Не заглядывайте в результаты до окончания теста, проводите его в течение полных бизнес-циклов и оценивайте результаты по величине эффекта и доверительному интервалу, а не только по значимости.