Pahami Signifikansi Tanpa Menipu Diri Sendiri

Pada awal pengujian, model penantang mungkin tampak luar biasa hanya karena keberuntungan. Signifikansi statistik membantu Anda membedakan dampak nyata dari derau acak. 🎲

Nilai-p memperkirakan peluang melihat hasil Anda jika kedua model benar-benar sama. Nilai-p yang kecil berarti perbedaan tersebut kemungkinan besar bukan sekadar keberuntungan.

Tim sering menyebut suatu hasil signifikan ketika nilai-p turun di bawah 0,05. Ini adalah konvensi, bukan hukum, jadi gunakan sebagai panduan, bukan sebagai kebenaran mutlak.

Untuk pengujian konversi, uji-z dua proporsi membandingkan kedua rasio tersebut. SciPy dapat menjalankannya dari jumlah anggota kelompok Anda.

Interval kepercayaan menunjukkan rentang yang masuk akal untuk lift sebenarnya. Jika rentang itu masih mencakup nol, Anda belum dapat menyatakan adanya perbedaan nyata.

Tentukan jumlah pengguna yang Anda perlukan sebelum memulai, berdasarkan lift yang ingin Anda deteksi. Jika pengguna terlalu sedikit, kemenangan yang benar-benar terjadi pun dapat tetap tidak terlihat.

Memeriksa hasil berulang kali lalu berhenti saat hasilnya tampak bagus disebut mengintip. Hal ini sangat meningkatkan positif palsu, jadi tahan keinginan untuk menyatakan hasil terlalu dini.

Tetapkan tanggal akhir atau ukuran sampel sejak awal dan biarkan pengujian selesai. Pengguna pada hari kerja dan akhir pekan berbeda, jadi satu siklus penuh mencegah hasil yang menyimpang.

Suatu hasil dapat signifikan secara statistik tetapi sangat kecil. Selalu tanyakan apakah ukuran dampak cukup besar untuk membenarkan peluncuran model baru tersebut.

Uji dua puluh metrik, dan kemungkinan besar salah satunya akan tampak signifikan secara kebetulan. Tetap gunakan satu metrik utama, atau lakukan koreksi untuk pengujian banyak metrik sekaligus.

Tujuan utama signifikansi adalah mencegah Anda menipu diri sendiri. Daftarkan rencana terlebih dahulu, tunggu hingga data mencukupi, dan laporkan hasilnya dengan jujur. ✅

Gunakan nilai-p dan interval kepercayaan untuk memisahkan sinyal dari derau. Tetapkan ukuran sampel terlebih dahulu, jangan pernah mengintip hasil, dan pertimbangkan ukuran dampak sebelum meluncurkan model. 🎯