Интерпретация значимости без самообмана

В начале теста модель-претендент может выглядеть великолепно лишь благодаря случайности. Статистическая значимость помогает отличить настоящий эффект от случайного шума. 🎲

p-значение оценивает вероятность получить такой результат, если две модели действительно равноценны. Малое p-значение означает, что разрыв вряд ли объясняется одной лишь случайностью.

Команды часто считают результат значимым, когда p-значение опускается ниже 0.05. Это соглашение, а не закон, поэтому воспринимайте его как ориентир, а не как абсолютную истину.

Для проверки конверсии двухвыборочный z-тест для долей сравнивает два показателя. SciPy может выполнить его по количеству объектов в каждой группе.

Доверительный интервал показывает правдоподобный диапазон истинного прироста. Если этот диапазон всё ещё включает ноль, заявлять о реальном различии пока нельзя.

До начала теста решите, сколько пользователей Вам нужно, исходя из прироста, который Вы надеетесь обнаружить. При слишком малом числе пользователей даже настоящая победа останется незаметной.

Многократно проверять результаты и остановиться, как только они выглядят хорошо, — это преждевременный просмотр. Он резко увеличивает число ложноположительных результатов, поэтому не поддавайтесь желанию объявить победу раньше времени.

Заранее установите дату окончания или размер выборки и дайте тесту завершиться. Пользователи в будни и выходные различаются, поэтому полный цикл помогает избежать перекоса.

Результат может быть статистически значимым, но ничтожным по размеру. Всегда спрашивайте себя, достаточно ли велик размер эффекта, чтобы вообще оправдать выпуск новой модели.

Если проверять двадцать метрик, одна из них, скорее всего, случайно покажется значимой. Придерживайтесь одной основной метрики или внесите поправку за одновременную проверку многих метрик.

Смысл проверки значимости — не дать Вам обмануть себя. Заранее зарегистрируйте план, дождитесь достаточного объёма данных и сообщите результат честно. ✅

Используйте p-значение и доверительный интервал, чтобы отделить сигнал от шума. Сначала зафиксируйте размер выборки, никогда не заглядывайте в результаты раньше времени и учитывайте размер эффекта перед выпуском модели. 🎯