結果を読む

テストが終了したら、まず事前登録した1つの主要指標を確認します。その1つの数値で勝敗が決まります。

副次指標を探し回って、少しでもプラスの兆候を見つけたいという衝動に負けないでください。都合のよい一時的な成果だけを選び出すと、チームは差のないテストまで成功したと思い込んでしまいます。

整理された結果表には、各バリエーションの訪問者数、コンバージョン数、コンバージョン率、相対的な改善率、信頼水準が表示されます。

表を上から下まで確認してください。改善を喜ぶ前に、サンプルサイズのバランスが取れていることと、信頼水準が設定したしきい値を満たしていることを確認します。

すべてのテストは、勝ち、負け、または判定不能のいずれかで終わります。3つとも価値のある結果です。

勝ちの結果は、リリースすべきものを教えてくれます。負けの結果は、避けるべきものを教えてくれます。判定不能の結果は、効果があったとしても、現在のトラフィックでは検出できないほど小さかったことを示します。

差がない結果でも、テストが無駄だったわけではありません。仮説を否定し、効果のないものをリリースせずに済みます。

判定不能のテストも証拠として扱ってください。変更が微妙すぎたのか、トラフィックが少なすぎたのか、それとも洞察が間違っていたのかもしれません。どの場合も、次にどこを見るべきかを教えてくれます。

勝ちの結果をリリースする前に、ガードレール指標が悪い方向に動いていないことを確認してください。登録数が増えても、返金や解約が急増していれば大きな意味はありません。

本当の勝利とは、下流のビジネスの健全性を損なわずに主要指標を改善することです。

全体では差がない結果でも、異なるセグメントでは正反対の効果が隠れていることがあります。バリエーションがモバイルでは勝っていても、デスクトップでは負けて、全体ではゼロになる場合があります。

デバイス、トラフィックソース、新規ユーザーとリピーターなどに分けて結果を確認してください。ただし、セグメントごとの発見は確定した勝利ではなく、新しい仮説として扱います。

データを多くのセグメントに分けると、どこかで偶然の偽の勝者を見つける可能性が高まります。十分な数のサブグループを調べれば、そのうちの1つは偶然に有意に見えてしまいます。

有望なセグメントが見つかったら、行動に移す前に、新たに専用のテストを実施して検証してください。事後的に切り出した結果だけを根拠に、決してリリースしてはいけません。

改善率をビジネス上の意味に置き換えて考えてください。相対的な改善率17%は素晴らしく聞こえますが、関係者が気にするのは収益です。

新しいコンバージョン率にトラフィックと平均単価を掛けて、年間の影響を予測します。その数値が、リリースの判断とロードマップを左右します。

仮説、結果、信頼水準、効果量、判断を共有ログに記録してください。過去のテストはナレッジベースとなり、行き止まりを繰り返すのを防いでくれます。

勝ちも負けもチームと共有し、実験プログラム全体で洞察を積み重ねてください。

テストで勝っても、本番環境で同じ改善率が得られるとは限りません。100%に展開した後、数週間にわたって指標を監視してください。

目新しさによる効果、季節性、実装上のバグによって、結果の効果が薄れることがあります。予測した収益を確定する前に、勝ちの結果が維持されることを確認してください。

最適化は一度きりではなく、ループで行うものです。勝ちでも負けでも、すべての結果から次の仮説を生み出してください。

リスクを取り除くバッジが勝ちにつながったなら、より強い保証をテストするきっかけになるかもしれません。レイアウトが負けたなら、別の方向を探します。継続的な実験によって、小さな改善が積み重なり、大きな成果になります。

結果の読み方について学んだことを実践してみましょう。

事前登録した主要指標でテストを評価し、リリース前にガードレール指標を確認してください。判定不能の結果からも学ぶことができます。

セグメントを慎重に扱い、都合のよい結果を探さないようにします。改善率をビジネスへの影響に置き換え、すべてのテストを記録し、勝ちの結果を本番環境で検証して、それぞれの結果を次の実験につなげてください。