Menyusun Hipotesis

Ide pengujian hanyalah dugaan. Hypothesis mengubahnya menjadi prediksi yang dapat diuji, lengkap dengan alasan dan hasil yang diharapkan.

"Mari coba judul utama baru" adalah ide. "Judul utama yang berfokus pada manfaat akan meningkatkan pendaftaran karena pengunjung tidak memahami nilainya" adalah Hypothesis yang benar-benar dapat Anda evaluasi.

Hypothesis yang kuat memiliki tiga bagian: perubahan, dampak yang diharapkan, dan metrik yang membuktikannya. Kalimat yang dapat digunakan kembali membantu semua orang tetap objektif.

Isi setiap tanda kurung dengan sesuatu yang spesifik dan terukur sebelum Anda membuat varian.

Hypothesis terbaik menyertakan alasan di balik perubahan tersebut. Kata "karena" memaksa Anda menghubungkan pengujian dengan perilaku pengguna yang nyata.

Perluas templatenya: "Kami meyakini [perubahan] akan menyebabkan [dampak] karena [wawasan], yang diukur dengan [metrik]." Dengan begitu, pengujian yang gagal tetap informatif, bukan sekadar mengecewakan.

Bayangkan data survei menunjukkan bahwa pengguna tidak mempercayai harga Anda. Anda memutuskan untuk menambahkan jaminan.

Hypothesis terbentuk dengan sendirinya saat Anda mengikuti template. Perhatikan betapa spesifiknya perubahan, dampak, dan metrik tersebut.

Metrik yang samar seperti "keterlibatan" atau "kinerja yang lebih baik" tidak dapat diukur dengan jelas. Pilih satu metrik utama yang berhubungan langsung dengan perubahan tersebut.

Jika perubahannya terjadi di halaman pembayaran, metrik utamanya biasanya adalah penyelesaian pembayaran atau tingkat pembelian, bukan tayangan halaman atau durasi di situs.

Pantau satu metrik utama untuk menentukan pemenang, ditambah metrik pengaman untuk mendeteksi dampak buruk yang tidak diinginkan.

Jika memperkecil formulir meningkatkan pendaftaran tetapi menurunkan kualitas prospek pada tahap berikutnya, metrik pengaman Anda telah menemukan kemenangan semu. Tentukan keduanya sebelum peluncuran.

Hypothesis yang dapat diuji memprediksi arah (naik atau turun) dan idealnya perkiraan besarnya. "Konversi akan meningkat" masih lemah; "konversi akan meningkat setidaknya 10%" jauh lebih tegas.

Ukuran dampak yang diharapkan juga membantu Anda merencanakan jumlah trafik yang diperlukan pengujian.

Setiap Hypothesis harus menyebutkan sumber: analitik, peta panas, survei, tiket dukungan, atau pengujian sebelumnya.

Jika Anda tidak dapat menunjukkan bukti mengapa suatu perubahan akan berhasil, ide tersebut hanyalah tebakan. Hypothesis yang didukung bukti lebih sering berhasil dan memberi lebih banyak pelajaran ketika gagal.

Hypothesis yang baik dapat dibuktikan salah. Jika tidak ada hasil yang mungkin mengubah pikiran Anda, itu adalah opini, bukan Hypothesis.

Tentukan sebelumnya hasil apa yang akan membuat Anda menolak perubahan tersebut. Dengan begitu, Anda tidak mencari-cari pembenaran atas hasil yang datar atau negatif setelah fakta.

Tuliskan Hypothesis lengkap, metrik utama, metrik pengaman, dan dampak yang diharapkan sebelum pengujian diluncurkan. Tetapkan semuanya agar hasilnya tidak dapat ditafsirkan ulang di kemudian hari.

Preregistrasi mencegah pemilihan hasil secara selektif dan menjaga kredibilitas program eksperimen Anda.

Bandingkan dua versi ide yang sama. Versi lemah tidak dapat diuji; versi kuat spesifik, beralasan, dan terukur.

Latih tim Anda untuk menyempurnakan setiap Hypothesis yang lemah menjadi bentuk yang kuat sebelum pekerjaan apa pun dimulai pada varian tersebut.

Opsi mana yang merupakan Hypothesis terkuat?

Ubah ide menjadi prediksi dengan template: kami meyakini [perubahan] akan menyebabkan [dampak] karena [wawasan], yang diukur dengan [metrik].

Pilih satu metrik utama yang spesifik beserta metrik pengaman, prediksikan arah dan besaran, dasarkan pada bukti, pastikan dapat dibuktikan salah, dan dokumentasikan sebelum peluncuran.