Menghapus atau Mengisi: Memilih dengan Bijak

Saat menemukan data yang hilang, Anda menghadapi satu pilihan besar: hapus baris yang terdampak atau isi nilainya. Pilihan yang tepat bergantung pada seberapa banyak data yang hilang dalam masing-masing cara. 🛣️

Metode dropna() menghapus setiap baris yang memiliki setidaknya satu nilai yang hilang. Cara ini bersih dan sederhana, tetapi dapat diam-diam menghapus banyak data.

Jika satu kolom sebagian besar kosong, hapus seluruh kolom tersebut dengan axis=1. Terkadang satu kolom yang buruk lebih merugikan daripada baris-baris tempat kolom itu berada.

Penghapusan cocok dilakukan ketika nilai yang hilang jarang dan tersebar. Kehilangan sebagian kecil dari kumpulan data yang besar biasanya tidak mengubah kesimpulan Anda.

Jika banyak baris memiliki satu nilai yang hilang, penghapusan dapat mengurangi data Anda secara drastis. Lebih buruk lagi, baris yang hilang mungkin tidak acak, sehingga hasilnya menjadi bias.

Alternatifnya adalah isi sel yang hilang dengan nilai yang masuk akal menggunakan fillna(). Anda mempertahankan setiap baris, tetapi harus mengisi beberapa angka yang sebenarnya tidak ada.

Ingatlah bahwa setiap nilai yang diisi adalah sebuah perkiraan. Pengisian yang baik harus masuk akal dan didokumentasikan; pengisian yang ceroboh menyembunyikan nilai yang hilang dan mengubah statistik Anda.

Anda dapat mempertahankan baris yang memiliki cukup data nyata menggunakan thresh, yang menetapkan jumlah minimum nilai yang tidak hilang yang harus dimiliki baris agar tetap dipertahankan.

Gunakan subset untuk menghapus baris hanya ketika kolom kunci tertentu tidak memiliki nilai. Dengan begitu, data lainnya terlindungi dari penghapusan yang tidak perlu.

Sebelum memutuskan, tanyakan mengapa nilai tersebut tidak ada. Data yang hilang secara acak aman untuk diisi, tetapi nilai yang hilang secara sistematis mungkin merupakan sinyal penting.

Panduan yang berguna: hapus ketika nilai yang hilang hanya sedikit, dan isi ketika setiap baris sangat berharga. Selalu pertimbangkan bagaimana setiap pilihan mengubah distribusi Anda sebelum memutuskan.

Sekarang Anda mempertimbangkan hapus atau isi berdasarkan seberapa banyak data yang hilang dan alasan nilai tersebut tidak ada. Gunakan dropna, thresh, dan subset untuk menghapus dengan hati-hati.