Pencilan dan Maknanya

Terkadang satu nilai berada jauh dari kumpulan lainnya. Titik yang menyendiri itu adalah sebuah pencilan, dan dapat diam-diam mengacaukan seluruh analisis Anda. 🚩

Satu nilai ekstrem dapat menarik mean dan memperbesar simpangan baku. Menemukan pencilan sejak awal mencegahnya menyembunyikan pola yang sebenarnya.

Tidak semua pencilan adalah sampah. Sebagian merupakan salah ketik yang harus diperbaiki, tetapi sebagian lainnya adalah sinyal nyata, seperti penipuan atau kejadian langka yang perlu Anda perhatikan sepenuhnya.

Uji klasik menggunakan IQR. Apa pun yang jauh di bawah Q1 atau jauh di atas Q3 ditandai sebagai kemungkinan pencilan yang perlu diperiksa kembali.

Buat batas pada Q1 dikurangi 1,5 kali IQR dan Q3 ditambah 1,5 kali IQR. Titik di luar batas ini merupakan pencilan yang dicurigai.

Masker boolean menemukannya dengan cepat. Bandingkan kolom Anda dengan batas-batas tersebut, lalu pandas mengembalikan tepat baris yang berada di luar batas.

Pendekatan lain adalah z-score, yaitu banyaknya simpangan baku suatu titik dari mean. Nilai yang melampaui sekitar tiga simpangan baku sering dianggap sebagai pencilan.

Diagram kotak menggambar batas IQR untuk Anda dan menandai apa pun yang melewatinya sebagai titik terpisah. Inilah cara visual tercepat untuk memindai pencilan.

Jangan pernah menghapus titik hanya karena nilainya ekstrem. Selidiki terlebih dahulu, karena menghapus data nyata dapat menghilangkan wawasan yang justru Anda perlukan.

Setelah memahaminya, Anda dapat menghapus, membatasi, atau mempertahankan pencilan. Pembatasan nilai pada batas merupakan jalan tengah yang lembut untuk mengurangi dampaknya.

Apa pun keputusan Anda, catatlah. Catatan yang jelas tentang pencilan mana yang diubah dan alasannya membuat analisis Anda tetap jujur dan dapat direproduksi.

Sekarang Anda dapat mendeteksi pencilan dengan aturan IQR atau skor-z, menilai apakah pencilan itu merupakan kesalahan atau sinyal, lalu menanganinya dengan sengaja. 🎓