仮説を立てる

テストのアイデアは、単なる思いつきにすぎません。仮説にすると、理由と期待する結果を伴う、検証可能な予測になります。

「新しい見出しを試してみましょう」はアイデアです。一方、「訪問者は価値を理解していないため、メリットを訴求する見出しにすると申し込みが増える」は、実際に検証できる仮説です。

優れた仮説には、変更内容、期待する効果、その効果を示す指標という3つの要素があります。再利用できる文章の形式にすると、全員が検証可能な内容を意識できます。

バリエーションを作成する前に、各かっこを具体的で測定可能な内容で埋めてください。

優れた仮説には、変更する理由も含まれています。「なぜなら」という部分によって、テストを実際のユーザー行動と結び付けることができます。

テンプレートを次のように拡張します。「私たちは、[インサイト]から、[変更]によって[効果]が生じると考えます。これを[指標]で測定します。」これにより、テストに失敗しても単に残念な結果ではなく、学びを得られます。

アンケートデータから、ユーザーが価格設定を信用していないことが分かったとします。そこで保証を追加することにしました。

テンプレートに沿えば、仮説は自然に書けます。変更内容、効果、指標がすべて具体的になっている点に注目してください。

「エンゲージメント」や「パフォーマンスの向上」のような曖昧な指標は、正確に測定できません。変更内容に直接対応する主要指標を1つ選びましょう。

変更する場所がチェックアウトページなら、主要指標は通常、ページビューやサイト滞在時間ではなく、チェックアウト完了率や購入率です。

勝者を決めるための主要指標を1つ追跡し、意図しない悪影響を検出するためにガードレール指標も追跡します。

フォームを短くしたことで申し込みは増えても、その後のリードの質が大幅に下がったなら、ガードレール指標が誤った勝利を検出したことになります。両方の指標をテスト開始前に定義してください。

検証可能な仮説では、結果の方向（増加または減少）と、できればおおよその規模も予測します。「コンバージョンが改善する」では弱く、「コンバージョンが少なくとも10%増加する」なら明確です。

期待する効果の大きさを決めておくと、テストに必要なトラフィック量の計画にも役立ちます。

すべての仮説には、アナリティクス、ヒートマップ、アンケート、サポートへの問い合わせ、過去のテストなど、根拠となる情報源を示す必要があります。

変更がうまくいく理由を裏付ける証拠を示せないなら、それは推測です。証拠に基づく仮説は成功する確率が高く、失敗した場合も多くの学びをもたらします。

優れた仮説は、誤りであることを証明できます。どのような結果が出ても考えを変える可能性がないなら、それは仮説ではなく意見です。

どのような結果になったら変更を棄却するのかを、あらかじめ決めておきましょう。これにより、結果が横ばいまたは悪化した後に、都合のよい解釈をしてしまうのを防げます。

テストを開始する前に、仮説全体、主要指標、ガードレール指標、期待する効果を書き出します。結果を後から都合よく解釈できないよう、内容を確定させておきましょう。

事前登録によって、都合のよい結果だけを選ぶことを防ぎ、実験プログラムの信頼性を保てます。

同じアイデアについて2つの例を比較しましょう。弱い例は検証できませんが、強い例は具体的で、理由があり、測定可能です。

バリエーションの作業を始める前に、すべての弱い仮説を強い形式に改善するよう、チームに習慣づけましょう。

最も優れた仮説はどの選択肢でしょうか。

「私たちは、[インサイト]から、[変更]によって[効果]が生じると考えます。これを[指標]で測定します。」というテンプレートを使って、アイデアを予測に変えましょう。

具体的な主要指標を1つとガードレール指標を選び、方向と規模を予測し、証拠に基づくものにします。反証可能な内容にし、開始前に記録してください。