Membaca Hasil

Setiap ujian berakhir sebagai pemenang, yang kalah atau tidak muktamad. Ketiga-tiganya bernilai.

Pemenang memberitahu anda perkara yang patut dilancarkan. Yang kalah memberitahu anda perkara yang perlu dielakkan. Hasil tidak muktamad memberitahu anda bahawa kesannya, jika ada, terlalu kecil untuk dikesan berdasarkan trafik anda.

Hasil tanpa perubahan bukanlah ujian yang sia-sia. Hasil itu menolak satu hipotesis dan mengelakkan anda daripada melancarkan sesuatu yang tidak memberi kesan.

Anggap ujian tidak muktamad sebagai bukti. Sama ada perubahan anda terlalu halus, trafik anda terlalu rendah atau cerapan anda tersilap. Setiap satunya mengajar anda perkara yang perlu disiasat seterusnya.

Sebelum melancarkan pilihan yang menang, pastikan metrik perlindungan tidak berubah ke arah yang salah. Peningkatan pendaftaran tidak banyak ertinya jika bayaran balik atau kadar kehilangan pelanggan meningkat mendadak.

Kemenangan sebenar meningkatkan metrik utama tanpa menjejaskan kesihatan perniagaan selepas itu.

Hasil keseluruhan yang mendatar boleh menyembunyikan kesan bertentangan dalam segmen yang berbeza. Varian itu mungkin menang pada mudah alih tetapi kalah pada komputer, lalu menghasilkan nilai bersih sifar.

Pecahkan hasil mengikut peranti, sumber trafik atau pengguna baharu berbanding pengguna kembali, tetapi anggap dapatan segmen sebagai hipotesis baharu, bukan kemenangan yang disahkan.

Membahagikan data kepada banyak segmen meningkatkan kemungkinan anda menemui pemenang palsu di suatu tempat. Jika anda menguji subkumpulan yang mencukupi, salah satunya akan kelihatan signifikan secara kebetulan.

Jika sesuatu segmen kelihatan menjanjikan, sahkannya dengan ujian baharu yang khusus sebelum mengambil tindakan. Jangan sekali-kali melancarkan perubahan berdasarkan satu pembahagian selepas analisis sahaja.

Terjemahkan peningkatan peratusan kepada istilah perniagaan. Peningkatan relatif sebanyak 17% kedengaran hebat, tetapi pihak berkepentingan mengambil berat tentang hasil.

Darabkan kadar penukaran baharu dengan trafik dan nilai purata anda untuk mengunjurkan impak tahunan. Nombor itu menentukan keputusan pelancaran dan pelan hala tuju anda.

Catat hipotesis, hasil, tahap keyakinan, saiz kesan dan keputusan dalam rekod bersama. Ujian terdahulu menjadi pangkalan pengetahuan yang mengelakkan pengulangan jalan buntu.

Kongsikan kejayaan dan kegagalan dengan pasukan supaya cerapan terkumpul di seluruh program percubaan.

Kemenangan dalam ujian tidak menjamin peningkatan yang sama dalam persekitaran sebenar. Selepas melancarkannya kepada 100% pengguna, pantau metrik itu selama beberapa minggu.

Kesan kebaharuan, kemusiman dan pepijat pelaksanaan boleh menghakis hasil. Pastikan kemenangan itu berkekalan sebelum menganggap hasil yang diunjurkan sebagai pasti.

Pengoptimuman ialah satu kitaran, bukan usaha sekali sahaja. Setiap hasil, sama ada kejayaan atau kegagalan, patut melahirkan hipotesis seterusnya.

Lencana pengurangan risiko yang menang mungkin mencetuskan ujian terhadap jaminan yang lebih kukuh. Susun atur yang kalah mengarahkan anda ke tempat lain. Percubaan berterusan mengumpulkan peningkatan kecil menjadi peningkatan besar.

Nilai ujian berdasarkan metrik utama yang didaftarkan lebih awal dan semak metrik perlindungan sebelum melancarkan perubahan. Hasil tidak muktamad tetap memberikan pembelajaran.

Bahagikan hasil mengikut segmen dengan teliti tanpa mencari-cari kemenangan, terjemahkan peningkatan kepada impak perniagaan, dokumentasikan setiap ujian, sahkan kemenangan dalam persekitaran sebenar dan gunakan setiap hasil untuk percubaan seterusnya.