Eksperimen dan Iterasi Cepat

Pemasar pertumbuhan meminjam metode ilmiah: mengamati data untuk mengidentifikasi peluang, merumuskan hipotesis tentang perubahan yang akan meningkatkan suatu metrik, merancang eksperimen terkendali untuk mengujinya, mengukur hasil secara objektif, lalu menarik kesimpulan untuk menentukan pengujian berikutnya. Siklus yang disiplin ini menggantikan pengambilan keputusan berdasarkan intuisi semata dengan iterasi berbasis bukti.

Hipotesis pemasaran yang dirumuskan dengan baik mengikuti struktur: "Jika [kami melakukan perubahan ini], maka [metrik ini] akan [meningkat/menurun] sebesar [X%], karena [alasan yang berakar pada perilaku atau psikologi pengguna]." Bagian "karena" sangat penting—bagian ini memaksa tim menjelaskan mekanisme sebab-akibat, sehingga pembelajaran tetap bernilai meskipun hipotesisnya salah.

Eksperimen minimum yang layak (MVE) menguji hipotesis dengan investasi sekecil mungkin sebelum berkomitmen pada implementasi penuh. Alih-alih membangun ulang seluruh halaman arahan, ubah hanya judulnya. Alih-alih meluncurkan model harga baru, tampilkan fitur semu untuk mengukur minat. MVE menjaga kecepatan eksperimen tetap tinggi dan upaya yang terbuang tetap rendah.

Pengujian A/B, yang juga disebut pengujian terpisah, membagi audiens secara acak menjadi dua kelompok: kelompok kontrol yang melihat versi saat ini (A) dan kelompok variasi yang melihat versi baru (B). Hanya satu variabel yang diubah setiap kali. Setelah data yang memadai terkumpul, analisis statistik menentukan apakah perbedaan yang diamati benar-benar nyata atau terjadi karena kebetulan.

Signifikansi statistik, yang biasanya ditetapkan pada 95%, berarti hanya ada probabilitas 5% bahwa hasil yang diamati terjadi karena kebetulan. Sebelum meluncurkan pengujian, gunakan kalkulator ukuran sampel untuk menentukan jumlah konversi yang diperlukan pada setiap variasi agar dapat mendeteksi dampak yang bermakna. Menjalankan pengujian tanpa ukuran sampel yang memadai menyebabkan positif palsu dan keputusan yang buruk.

Pengujian multivariat mengubah beberapa elemen secara bersamaan dan menggunakan model statistik untuk mengidentifikasi kombinasi yang memberikan kinerja terbaik. Pengujian ini memerlukan lalu lintas yang jauh lebih besar daripada pengujian A/B, sering kali 10x lebih banyak, untuk mencapai signifikansi. Gunakan pengujian multivariat ketika Anda memiliki halaman dengan lalu lintas tinggi, beberapa elemen yang saling berinteraksi untuk diuji, serta waktu pengujian beberapa minggu.

VWO (Visual Website Optimizer) dan Optimizely adalah platform eksperimentasi terkemuka yang memungkinkan orang yang bukan insinyur membuat, menerapkan, dan menganalisis pengujian A/B serta multivariat melalui editor visual. Unbounce dan Instapage dibuat khusus untuk membuat halaman arahan dengan pengujian A/B bawaan. Google Optimize dihentikan pada 2023, sehingga banyak tim beralih ke alternatif-alternatif ini.

Halaman harga merupakan salah satu area eksperimen dengan dampak terbesar dalam perangkat lunak sebagai layanan. Pengujian umum mencakup jumlah tingkatan harga, posisi dan label paket yang direkomendasikan, posisi pengalih bawaan tahunan dibandingkan bulanan, tata letak tabel perbandingan fitur, serta penambahan atau penghapusan tingkatan gratis. Perubahan kecil di sini dapat menggeser tingkat konversi hingga persentase dua digit.

Setiap eksperimen—baik berhasil maupun gagal—harus dicatat dalam basis data pembelajaran bersama, beserta hipotesis, deskripsi varian, metrik, hasil, signifikansi statistik, dan kesimpulan. Seiring waktu, basis data ini menjadi aset intelektual yang mencegah pengulangan ide yang gagal dan mengungkap pola tentang hal-hal yang berhasil untuk audiens spesifik Anda.

Budaya eksperimen memerlukan rasa aman secara psikologis untuk membagikan hasil negatif, kepemimpinan yang menghargai pembelajaran lebih dari kemenangan, kepemilikan yang jelas atas daftar eksperimen, dan sasaran kecepatan (misalnya, menjalankan 10 eksperimen per bulan). Tim yang lebih sering melakukan pengujian mengakumulasi pembelajaran dengan lebih cepat dan melampaui pesaing yang mengandalkan inisiatif besar secara berkala.

Perusahaan yang menjalankan lebih banyak eksperimen dalam satuan waktu tertentu belajar lebih cepat daripada perusahaan yang tidak melakukannya. Amazon terkenal menjalankan ribuan eksperimen setiap hari. Bahkan tim kecil yang berkomitmen melakukan pengujian mingguan dapat mengumpulkan cukup banyak wawasan dalam satu kuartal untuk mengoptimalkan kinerja secara signifikan lebih baik daripada pesaingnya. Kecepatan adalah pilihan—hal ini memerlukan disiplin proses dan investasi pada perangkat pendukung.

Eksperimen yang disiplin adalah mesin pertumbuhan berbasis data. Selalu tulis hipotesis dengan kata penghubung sebab-akibat "karena", rancang eksperimen minimum yang layak untuk menghemat sumber daya, pastikan signifikansi statistik sebelum menarik kesimpulan, dokumentasikan setiap hasil dalam basis data pembelajaran, dan bangun budaya organisasi yang menghargai kecepatan pengujian. Tim yang belajar paling cepatlah yang menang.