Pilih Metrik yang Penting

Model penantang dapat menang dalam akurasi luring, tetapi tetap merugikan. Metrik yang menentukan pengujian A/B Anda haruslah hasil bisnis yang benar-benar Anda pedulikan. 💡

Metrik luring seperti F1 atau AUC berasal dari set pengujian statis. Metrik daring berasal dari perilaku pengguna langsung, dan hanya metrik itulah yang menunjukkan dampak nyata di produksi.

Pilih satu metrik utama sejak awal, seperti rasio konversi atau pendapatan per pengguna. Menentukan pilihan setelah melihat data adalah cara tim menipu diri sendiri.

Metrik utama yang kuat berkaitan dengan nilai, berubah mengikuti model, dan dapat diukur per pengguna. Rasio klik, pembelian, dan durasi menonton adalah contoh klasik.

Lacak juga metrik pelindung: hal-hal yang tidak boleh memburuk, seperti latensi, rasio kesalahan, atau tingkat pengguna yang berhenti. Kemenangan yang merusak metrik pelindung bukanlah kemenangan yang sebenarnya.

lift adalah seberapa besar model penantang meningkat dibandingkan model unggulan pada metrik utama Anda, biasanya dinyatakan sebagai perubahan persentase.

Metrik semu terlihat bagus, tetapi tidak menghasilkan nilai, seperti jumlah tampilan halaman mentah. Angka yang tampak menarik tetapi tidak berkaitan dengan bisnis dapat menyesatkan seluruh tim.

Klik adalah proksi yang mudah untuk mengukur kepuasan, tetapi pengguna dapat mengeklik lalu langsung pergi. Pastikan proksi Anda benar-benar mengikuti hasil yang ingin Anda capai.

Rata-rata dapat menyembunyikan masalah. Model mungkin meningkatkan hasil bagi pengguna baru, tetapi merugikan pengguna setia. Jadi, periksa metrik di seluruh segmen penting, bukan hanya secara keseluruhan.

Beberapa hasil, seperti pengembalian dana atau perpanjangan, baru muncul beberapa hari kemudian. Pilih metrik yang sinyalnya muncul dalam jangka waktu pengujian Anda, atau Anda akan mengambil keputusan terlalu dini.

Tetapkan metrik utama, metrik pelindung, dan ambang keberhasilan sebelum pengujian dimulai. Rencana tertulis mencegah Anda memilih angka yang tampak menguntungkan setelahnya. ✅

Pilih satu metrik bisnis utama sebelum pengujian, lindungi dengan metrik pelindung, dan hindari proksi semu. Buat segmen pada hasil Anda dan perhitungkan sinyal yang tertunda. 🎯