重要なメトリクスを選ぶ

challengerはオフラインの正確性で勝っても、利益を減らす可能性があります。A/Bテストの勝敗を決める指標は、実際に重視するビジネス成果にしてください。💡

F1やAUCなどのオフライン指標は、静的なテストセットから得られます。オンライン指標は実際のユーザー行動から得られ、サービス環境への本当の影響を示せるのはオンライン指標だけです。

コンバージョン率やユーザーあたりの収益など、単一の主要指標をあらかじめ選びます。データを見てから決めると、チームに都合のよい解釈をしてしまいます。

優れた主要指標は、価値に結び付き、モデルに応じて変化し、ユーザー単位で測定できます。クリック率、購入数、視聴時間などが典型的な例です。

ガードレール指標も追跡します。レイテンシやエラー率、解約率など、悪化させてはいけない指標です。ガードレールを破る勝利は、本当の勝利ではありません。

リフトとは、主要指標においてchallengerがchampionよりどれだけ改善したかを表す値で、通常は変化率で示します。

虚栄の指標は見栄えがよくても価値を生みません。単純なページビュー数などがその例です。ビジネスと結び付かないきれいな数字は、チーム全体を誤解させる可能性があります。

クリックは満足度の簡単な代理指標ですが、ユーザーはクリックした後すぐに離脱するかもしれません。代理指標が、本当に求めている成果を正しく追跡していることを確認してください。

平均値は問題を隠すことがあります。モデルによって新規ユーザーは改善しても、ロイヤルユーザーが不利益を受ける可能性があるため、全体だけでなく重要なセグメントごとに指標を確認してください。

返金や更新などの成果は、数日後に現れることがあります。テスト期間内にシグナルが得られる指標を選ばないと、早すぎる判断をしてしまいます。

テスト開始前に、主要指標、ガードレール、成功のしきい値を確定します。計画を書いておけば、後から都合のよい数字だけを選ぶことを防げます。✅

テストの判定に使うべき指標を確認しましょう。

テスト前にビジネス上の主要指標を1つ選び、ガードレールで保護し、虚栄の代理指標を避けます。結果をセグメントごとに確認し、遅れて現れるシグナルも考慮してください。🎯