Signifikansi Statistik

Tingkat konversi dapat naik turun secara kebetulan. Jika varian B mengungguli A sebesar 2% pada sampel kecil, perbedaan itu mungkin hanya derau.

Signifikansi statistik memberi tahu seberapa besar kemungkinan perbedaan yang diamati itu nyata, bukan hasil kebetulan acak. Tanpanya, Anda berisiko menerapkan perubahan yang tidak menghasilkan apa-apa.

Setiap pengukuran memiliki variasi. Jika Anda melempar koin adil sepuluh kali, Anda jarang mendapatkan tepat lima sisi kepala.

Hal yang sama berlaku untuk konversi. Pengujian singkat dapat menampilkan pemenang palsu hanya karena salah satu varian mendapatkan rentetan keberuntungan. Signifikansi memisahkan sinyal nyata dari derau ini.

Nilai-p memperkirakan probabilitas mendapatkan hasil Anda, atau hasil yang lebih ekstrem, jika memang tidak ada perbedaan antara varian.

Nilai-p yang kecil berarti hasil tersebut tidak mungkin terjadi hanya karena kebetulan. Pemasar umumnya menganggap nilai-p di bawah 0,05 sebagai ambang untuk menyatakan signifikansi.

Sebagian besar alat A/B melaporkan tingkat keyakinan, bukan nilai-p mentah. Tingkat keyakinan 95% setara dengan nilai-p di bawah 0,05.

Artinya, jika sebenarnya tidak ada yang berubah, Anda hanya akan melihat perbedaan sebesar ini dalam sekitar 5% kesempatan. Tingkat keyakinan yang lebih tinggi memerlukan lebih banyak data.

Daya uji adalah peluang pengujian Anda mendeteksi dampak nyata ketika dampak itu ada. Daya uji rendah berarti pemenang nyata luput tanpa terdeteksi.

Target standarnya adalah daya uji 80%. Pengujian dengan daya rendah menyia-nyiakan trafik dan menghasilkan kesimpulan yang tidak pasti, sehingga Anda tergoda menghentikannya terlalu dini.

Efek minimum yang dapat dideteksi, atau MDE, adalah peningkatan terkecil yang ingin Anda deteksi secara andal.

Mendeteksi peningkatan kecil sebesar 1% memerlukan trafik jauh lebih banyak daripada mendeteksi peningkatan sebesar 10%. Tetapkan MDE yang realistis sebelum peluncuran; hal itu secara langsung menentukan ukuran sampel yang diperlukan.

Sebelum menjalankan pengujian, masukkan rasio dasar, MDE target, tingkat keyakinan, dan daya uji ke kalkulator ukuran sampel. Kalkulator tersebut memberi tahu berapa banyak pengunjung yang diperlukan setiap varian.

Berkomitmenlah pada jumlah tersebut. Mengakhiri pengujian lebih awal karena varian B "tampaknya menang" adalah cara paling umum bagi tim untuk menipu diri sendiri.

Memeriksa hasil berulang kali dan berhenti saat signifikansi muncul akan meningkatkan tingkat positif palsu secara drastis.

Setiap intipan memberikan kesempatan lain bagi derau acak untuk melewati ambang batas. Tentukan ukuran sampel dan durasi sejak awal, lalu tunggu. Jangan berhenti pada hasil positif pertama.

Perilaku berbeda menurut hari kerja, akhir pekan, dan hari gajian. Pengujian yang berjalan dari Senin hingga Rabu sama sekali tidak mencakup pembeli akhir pekan.

Jalankan pengujian setidaknya selama satu atau dua minggu penuh agar setiap varian melihat campuran trafik yang representatif. Ukuran sampel dan waktu sama-sama menjadi syarat hasil yang valid.

Hasil dapat signifikan secara statistik tetapi terlalu kecil untuk berdampak bagi bisnis. Dengan trafik sangat besar, peningkatan 0,1% saja dapat mencapai tingkat keyakinan 95%.

Selalu padukan signifikansi dengan ukuran dampak dan nilai praktisnya. Tanyakan: apakah peningkatan ini cukup besar untuk membenarkan perubahan tersebut?

Interval kepercayaan menunjukkan rentang yang masuk akal dari dampak sebenarnya. Estimasi titik sebesar +8% dengan interval -1% hingga +17% masih tidak meyakinkan.

Utamakan hasil yang seluruh intervalnya tetap positif. Interval yang lebar dan melintasi nol berarti Anda tidak dapat memastikan bahwa perubahan tersebut benar-benar membantu.

Signifikansi membedakan dampak nyata dari kebisingan acak. Targetkan tingkat kepercayaan 95% dan daya uji 80%, tetapkan MDE, lalu hitung ukuran sampel sebelum memulai pengujian.

Hindari mengintip hasil, jalankan siklus bisnis secara penuh, dan nilai hasil berdasarkan ukuran dampak serta interval kepercayaan, bukan signifikansi saja.