Проверка конверсионности

Мнения о том, что повышает конверсию, часто бывают ошибочными. Тестирование заменяет догадки доказательствами, сравнивая версии страницы на основе поведения реальных посетителей.

Оптимизация коэффициента конверсии, или CRO, — это систематическая практика проведения таких тестов, которая позволяет постепенно улучшать результаты вместо переделки страницы на основе догадок.

A/B-тест показывает версию A половине посетителей, а версию B — другой половине, после чего измеряет, какая версия даёт более высокую конверсию.

Поскольку трафик случайным образом и одновременно распределяется между версиями, внешние факторы одинаково влияют на обе. Разница в коэффициенте конверсии указывает на результат внесённого изменения.

Хороший тест начинается с чёткой гипотезы, а не со случайных изменений. Сформулируйте, что Вы измените, какого результата ожидаете и почему.

Это делает тесты целенаправленными, а результат — значимым независимо от того, окажется он успешным или нет. Неудачный тест, опровергающий убеждение, всё равно даёт ценное learning.

Чтобы понять, что вызвало изменение результатов, меняйте по одному элементу за раз: заголовок, цвет кнопки или длину формы, но не всё сразу.

Изменение нескольких элементов одновременно может показать, что страница стала лучше, но не позволит понять, какое именно изменение помогло. Изолируйте переменную, чтобы извлечь из теста полезный урок.

Не все элементы одинаково важны. Заголовок, основное предложение, CTA и главный визуальный блок обычно сильнее всего влияют на конверсию, поэтому начинайте с них.

Небольшие косметические изменения редко приводят к значительным сдвигам. Направляйте бюджет на тестирование туда, где потенциальный выигрыш максимален.

Тесту нужно достаточно посетителей и конверсий, прежде чем его результат что-либо значит. Объявить победителя после нескольких конверсий — самая распространённая ошибка при тестировании.

Определите необходимый размер выборки до начала теста и проводите его достаточно долго, чтобы учесть обычные ежедневные колебания, желательно в течение полных недель.

Статистическая значимость оценивает вероятность того, что различие действительно, а не вызвано случайным шумом. Распространённый порог — 95% уверенности.

Ниже этого уровня кажущийся победитель может быть всего лишь результатом случайности. Значимость защищает от внедрения изменения, которое на самом деле не помогает.

Остановка теста в тот момент, когда вариант B выходит вперёд, называется подглядыванием и увеличивает число ложных побед. Раннее преимущество часто исчезает по мере поступления новых данных.

Заранее задайте условия окончания и придерживайтесь их. Кроме того, не проводите тесты в необычные периоды, например во время праздничной распродажи, которые искажают обычное поведение.

Многовариантный тест одновременно изменяет несколько элементов и измеряет каждую комбинацию. Он может показать, как элементы взаимодействуют друг с другом, но требует гораздо большего объёма трафика.

Для большинства страниц практичнее проводить последовательные A/B-тесты. Оставляйте многовариантное тестирование для страниц с большим трафиком, где Вы можете обеспечить необходимый объём данных.

Тест полезен только в том случае, если Вы действуете по его результатам. Выпустите победивший вариант, зафиксируйте полученные выводы и используйте их в следующей гипотезе.

CRO — это цикл: исследование, выдвижение гипотез, тестирование, learning, повторение. Последовательные итерации со временем складываются в значительный прирост.

Прирост показывает, насколько победивший вариант улучшил результат по сравнению с контрольным, в процентах от исходного показателя. Он помогает ясно донести влияние изменений до заинтересованных сторон.

Всегда указывайте прирост вместе с уровнем уверенности, чтобы результат оставался достоверным. Большой прирост при низкой уверенности ещё не даёт оснований для решения.

Проверьте, насколько хорошо Вы понимаете тестирование конверсии.

Тестирование заменяет мнение доказательствами. A/B-тесты разделяют трафик для сравнения версий; ими руководит чёткая гипотеза и одна изолированная переменная, причём сначала внимание уделяется элементам с наибольшим влиянием.

Дождитесь достаточного размера выборки и статистической значимости, не заглядывайте в результаты преждевременно, затем запустите победивший вариант и повторите цикл. Представляйте результаты как прирост в сочетании с уровнем уверенности.