Формулирование гипотезы

Идея теста — всего лишь догадка. Гипотеза превращает ее в проверяемое предсказание с обоснованием и ожидаемым результатом.

«Давайте попробуем новый заголовок» — это идея. «Заголовок с акцентом на преимущества увеличит число регистраций, потому что посетители не понимают ценность предложения» — это гипотеза, которую действительно можно проверить.

Сильная гипотеза состоит из трех частей: изменения, ожидаемого эффекта и метрики, которая его подтверждает. Универсальное предложение помогает всем придерживаться фактов.

Прежде чем создавать вариант, впишите в каждую скобку что-то конкретное и измеримое.

В лучших гипотезах есть объяснение причины изменения. Слово «потому что» заставляет связать тест с реальным поведением пользователей.

Расширьте шаблон: «Мы считаем, что [изменение] вызовет [эффект], потому что [наблюдение], что измеряется с помощью [метрика]». Благодаря этому неудачные тесты становятся источником знаний, а не просто разочарованием.

Представьте, что данные опроса показывают: пользователи не доверяют вашим ценам. Вы решаете добавить гарантию.

Если следовать шаблону, гипотеза формулируется сама собой. Обратите внимание, насколько конкретны изменение, эффект и метрика.

Расплывчатые метрики вроде «вовлеченности» или «более высокой эффективности» нельзя четко измерить. Выберите одну основную метрику, которая напрямую связана с изменением.

Если изменение находится на странице оформления заказа, основной метрикой обычно будет завершение оформления заказа или доля покупок, а не просмотры страницы или время на сайте.

Отслеживайте одну основную метрику для определения победителя и защитные метрики, которые помогут заметить непреднамеренный вред.

Если сокращение формы увеличит число регистраций, но ухудшит качество последующих лидов, защитная метрика выявит ложный успех. Определите обе метрики до запуска.

Проверяемая гипотеза предсказывает направление изменения — рост или снижение — и в идеале его примерную величину. Формулировка «конверсия улучшится» недостаточно точна; «конверсия вырастет как минимум на 10%» звучит конкретно.

Ожидаемый размер эффекта также помогает спланировать, какой объем трафика потребуется для теста.

В каждой гипотезе следует указать источник: аналитику, тепловые карты, опросы, обращения в поддержку или предыдущие тесты.

Если вы не можете привести факты, объясняющие, почему изменение сработает, идея остается догадкой. Гипотезы, основанные на фактах, чаще оказываются успешными и дают больше знаний даже при неудаче.

Хорошую гипотезу можно опровергнуть. Если никакой возможный результат не заставит вас изменить мнение, это не гипотеза, а убеждение.

Заранее решите, какой результат заставит вас отказаться от изменения. Это не позволит оправдывать неизменившийся или отрицательный результат задним числом.

До запуска теста запишите полную гипотезу, основную метрику, защитные метрики и ожидаемый эффект. Зафиксируйте их, чтобы позднее нельзя было переосмыслить результаты.

Предварительная регистрация предотвращает выборочное представление результатов и сохраняет доверие к вашей программе экспериментов.

Сравните два варианта одной и той же идеи. Слабый вариант нельзя проверить, а сильный конкретен, обоснован и измерим.

Научите команду превращать каждую слабую гипотезу в сильную формулировку до начала работы над вариантом.

Какой вариант является самой сильной гипотезой?

Превращайте идеи в предсказания по шаблону: «Мы считаем, что [изменение] вызовет [эффект], потому что [наблюдение], что измеряется с помощью [метрика]».

Выберите одну конкретную основную метрику и защитные метрики, предскажите направление и величину эффекта, обоснуйте гипотезу фактами, сохраните возможность ее опровержения и задокументируйте всё до запуска.