Membaca Hasil

Setelah pengujian selesai, lihat terlebih dahulu satu metrik utama yang telah dipraregistrasikan. Angka tunggal tersebut menentukan pemenangnya.

Tahan keinginan untuk mencari-cari sinyal positif di antara metrik sekunder. Memilih kemenangan kecil secara selektif adalah cara tim meyakinkan diri bahwa pengujian tanpa perubahan telah berhasil.

Tabel hasil yang rapi menampilkan pengunjung, konversi, tingkat konversi, peningkatan relatif, dan tingkat kepercayaan untuk setiap varian.

Pindai tabel dari atas ke bawah. Pastikan ukuran sampel seimbang dan tingkat kepercayaan memenuhi ambang batas Anda sebelum merayakan peningkatan apa pun.

Setiap pengujian berakhir dengan pemenang, pecundang, atau hasil yang belum meyakinkan. Ketiganya bernilai.

Pemenang memberi tahu Anda apa yang perlu dirilis. Pecundang memberi tahu Anda apa yang perlu dihindari. Hasil yang belum meyakinkan menunjukkan bahwa dampaknya, jika ada, terlalu kecil untuk terdeteksi dengan jumlah trafik Anda.

Hasil tanpa perubahan bukan berarti pengujian sia-sia. Hasil tersebut menyingkirkan sebuah hipotesis dan menyelamatkan Anda dari merilis sesuatu yang tidak memberikan dampak.

Anggap pengujian yang belum meyakinkan sebagai bukti. Perubahan Anda mungkin terlalu halus, trafik Anda terlalu rendah, atau wawasan Anda keliru. Masing-masing mengajarkan Anda ke mana harus mencari berikutnya.

Sebelum merilis pemenang, pastikan metrik pengaman tidak bergerak ke arah yang salah. Peningkatan pendaftaran tidak berarti banyak jika pengembalian dana atau pelanggan yang berhenti berlangganan melonjak.

Kemenangan yang sebenarnya meningkatkan metrik utama tanpa merusak kesehatan bisnis di tahap selanjutnya.

Hasil keseluruhan tanpa perubahan dapat menyembunyikan dampak yang berlawanan di berbagai segmen. Varian tersebut mungkin menang di perangkat seluler tetapi kalah di komputer desktop, sehingga hasil akhirnya menjadi nol.

Uraikan hasil berdasarkan perangkat, sumber trafik, atau pengguna baru dibandingkan pengguna yang kembali, tetapi perlakukan temuan segmen sebagai hipotesis baru, bukan kemenangan yang sudah terkonfirmasi.

Membagi data ke dalam banyak segmen memperbesar peluang Anda menemukan pemenang palsu di suatu tempat. Jika Anda menguji cukup banyak subkelompok, salah satunya akan tampak signifikan karena kebetulan.

Jika sebuah segmen terlihat menjanjikan, validasikan dengan pengujian khusus yang baru sebelum mengambil tindakan. Jangan pernah merilis sesuatu hanya berdasarkan segmen yang dibuat setelah hasil diketahui.

Terjemahkan peningkatan persentase ke dalam istilah bisnis. Peningkatan relatif sebesar 17% terdengar sangat baik, tetapi pemangku kepentingan memedulikan pendapatan.

Kalikan tingkat konversi baru dengan trafik dan nilai rata-rata Anda untuk memproyeksikan dampak tahunan. Angka tersebut menjadi dasar keputusan rilis dan peta jalan Anda.

Catat hipotesis, hasil, tingkat kepercayaan, ukuran dampak, dan keputusan dalam catatan bersama. Pengujian terdahulu menjadi basis pengetahuan yang mencegah Anda mengulangi jalan buntu.

Bagikan kemenangan dan kekalahan kepada tim agar wawasan terus terakumulasi di seluruh program eksperimen.

Kemenangan dalam pengujian tidak menjamin peningkatan yang sama di lingkungan produksi. Setelah menerapkannya kepada 100% pengguna, pantau metrik tersebut selama beberapa minggu.

Efek kebaruan, perubahan musiman, dan kesalahan implementasi dapat mengikis hasil. Pastikan kemenangan tersebut bertahan sebelum mengandalkan pendapatan yang diproyeksikan.

Optimisasi adalah sebuah siklus, bukan kegiatan sekali jalan. Setiap hasil, baik kemenangan maupun kekalahan, seharusnya memunculkan hipotesis berikutnya.

Lencana pengurang risiko yang berhasil dapat menginspirasi pengujian jaminan yang lebih kuat. Tata letak yang gagal mengarahkan Anda ke pilihan lain. Eksperimen berkelanjutan mengakumulasikan peningkatan kecil menjadi hasil yang besar.

Terapkan hal yang telah Anda pelajari tentang membaca hasil.

Nilai pengujian berdasarkan metrik utama yang dipraregistrasikan dan periksa metrik pengaman sebelum merilis. Hasil yang belum meyakinkan tetap memberikan pembelajaran.

Kelompokkan hasil dengan cermat tanpa mencari-cari segmen, terjemahkan peningkatan ke dalam dampak bisnis, dokumentasikan setiap pengujian, verifikasi kemenangan di lingkungan produksi, dan masukkan setiap hasil ke eksperimen berikutnya.