コンバージョンにつながる施策をテストする

何がコンバージョンにつながるかについての意見は、間違っていることがよくあります。テストでは、ページのバージョンを実際の訪問者の行動と比較することで、推測を根拠のある判断に置き換えます。

コンバージョン率最適化、つまりCROとは、勘でリニューアルするのではなく、こうしたテストを継続的に実施して成果を着実に改善するための、体系的な取り組みです。

A/Bテストでは、訪問者の半分にバージョンAを、残りの半分にバージョンBを表示し、どちらがより良くコンバージョンするかを測定します。

トラフィックを同時にランダム分割するため、外部要因は両方のバージョンに同じように影響します。コンバージョン率の差から、実施した変更の効果を判断できます。

優れたテストは、無作為な試行錯誤ではなく、明確な仮説から始まります。何を変更するのか、どのような結果を期待するのか、なぜそう考えるのかを明確にしてください。

これによりテストの目的が明確になり、勝っても負けても結果に意味が生まれます。ある考えを否定する負けたテストも、価値ある学びになります。

結果の変化の原因を把握するには、一度に1つの要素だけを変えてください。見出し、ボタンの色、フォームの長さのいずれかを変え、3つすべてを同時に変えてはいけません。

複数の要素を同時に変えてもページが改善したかどうかはわかりますが、どの変更によるものかはわかりません。変数を分離して、そこから学びましょう。

すべての要素が同じように重要なわけではありません。見出し、主要なオファー、CTA、ヒーローセクションは通常、コンバージョンを最も大きく動かすため、まずこれらをテストしてください。

小さな見た目の調整で大きな変化が生じることは、めったにありません。潜在的な効果が最も大きいところにテスト予算を使いましょう。

テストの結果に意味を持たせるには、十分な訪問者数とコンバージョン数が必要です。数件のコンバージョンだけで勝者を決めるのは、テストで最もよくある失敗です。

開始前に必要なサンプルサイズを決め、通常の日々の変動を捉えられる十分な期間、できれば週単位で丸々テストを実施してください。

統計的有意性は、差が偶然のノイズではなく実際の差である可能性を推定します。一般的なしきい値は95%の信頼水準です。

それを下回る場合、見かけ上の勝者は単なる偶然かもしれません。有意性を確認することで、実際には役に立たない変更を展開するリスクを防げます。

Bが優勢に見えた瞬間にテストを止めることを「途中確認」と呼びますが、これを行うと誤った勝利を過大に見積もってしまいます。序盤のリードは、データが増えるにつれて消えることがよくあります。

終了条件をあらかじめ設定し、それを守ってください。また、ホリデーセールのように通常の行動を歪める特殊な期間には、テストを実施しないようにしましょう。

多変量テストでは、複数の要素を同時に変え、すべての組み合わせを測定します。要素同士の相互作用を明らかにできますが、はるかに多くのトラフィックが必要です。

ほとんどのページでは、順番に行うA/Bテストのほうが実用的です。多変量テストは、十分なトラフィックを確保できる高トラフィックのページに限って実施してください。

テストは、結果を行動に移して初めて役に立ちます。勝者をリリースし、学んだことを記録し、その知見を次の仮説に生かしてください。

CROは、調査、仮説設定、テスト、学習、反復というループです。着実な反復を重ねることで、時間とともに大きな成果へと積み上がります。

リフトは、勝者となったバリエーションがコントロールに対してどれだけ改善したかを、元の率に対する割合として示します。関係者に効果を明確に伝えることができます。

結果を正確に伝えるため、リフトは必ず信頼水準と組み合わせてください。信頼水準が低い大きなリフトは、まだ意思決定の根拠にはなりません。

テストを行うと、主観的な意見を根拠のあるデータに置き換えられます。A/Bテストではトラフィックを分けてバージョンを比較します。明確な仮説と1つの分離した変数に基づき、まず影響の大きい要素に焦点を当てます。

十分なサンプルサイズと統計的有意性が得られるまで待ち、途中で結果をのぞき見しないでください。その後、勝者を公開して改善を繰り返します。結果は、信頼度と併せた改善幅として報告してください。