Memperbaiki dtypes dan Baris Duplikat

Mengisi nilai yang hilang hanyalah separuh pekerjaan. Data bersih juga memerlukan dtypes yang benar dan tidak memiliki baris duplikat yang tidak sengaja sehingga mengacaukan perhitungan. 🧹

Setiap kolom memiliki dtype, yaitu tipe datanya, seperti int, float, object, atau datetime. dtype menentukan operasi apa saja yang dapat dilakukan pada kolom tersebut.

Masalah yang sering terjadi: angka dimuat sebagai string object karena satu simbol asing ikut masuk. Anda tidak dapat melakukan perhitungan terhadapnya sampai tipenya diperbaiki.

Konversikan kolom teks menjadi angka dengan to_numeric. Berikan errors='coerce' untuk mengubah apa pun yang tidak dapat diuraikan menjadi NaN, alih-alih menyebabkan program gagal.

Jika kolom sudah bersih, astype mengubah tipenya secara langsung, misalnya mengubah float bilangan bulat kembali menjadi integer yang lebih ringkas.

Tanggal sering kali dimuat sebagai teks. Konversikan dengan to_datetime agar Anda dapat mengurutkan, menyaring berdasarkan rentang, dan mengekstrak bagian seperti bulan nanti.

Kolom dengan sedikit nilai teks yang berulang dapat menyusut secara drastis jika menggunakan dtype category, yang menyimpan setiap label sekali lalu merujuk kepadanya.

Catatan yang berulang memperbesar total dan rata-rata. Temukan baris tersebut dengan duplicated(), yang menandai setiap baris yang pernah muncul sebelumnya sebagai True.

Hapus pengulangan dengan drop_duplicates(). Secara default, metode ini mempertahankan kemunculan pertama setiap baris dan membuang sisanya.

Terkadang hanya kolom tertentu yang menentukan duplikat. Berikan subset untuk mendeteksi pengulangan berdasarkan kunci seperti id, tanpa memperhatikan kolom lainnya.

Setelah memperbaiki tipe dan pengulangan, jalankan info() sekali lagi. Memastikan dtypes dan jumlah baris melindungi Anda dari kesalahan pembersihan yang lolos ke proses berikutnya.

Sekarang Anda memperbaiki dtypes dengan to_numeric, astype, dan to_datetime, serta menghapus pengulangan dengan drop_duplicates. Tabel Anda akhirnya siap dianalisis.