Interpolasi dan Imputasi Lanjutan

Forward fill dan backward fill meneruskan nilai terdekat yang diketahui tanpa mempertimbangkan tren data. Interpolasi memperkirakan nilai yang hilang dengan mengasumsikan adanya perubahan yang mulus antara nilai-nilai yang diketahui — misalnya, jika suhu 20°C pada hari Senin dan 30°C pada hari Jumat, interpolasi memperkirakan suhu 25°C pada hari Rabu. Metode ini menghasilkan imputasi yang lebih realistis untuk sinyal yang berubah secara bertahap, seperti data sensor, harga, atau jumlah penduduk.

Pandas interpolate() mendukung beberapa metode. Yang paling umum adalah 'linear' (berjarak sama di antara nilai yang diketahui), 'time' (memperhitungkan jeda waktu yang tidak sama ketika DatetimeIndex ditetapkan), 'polynomial' (menyesuaikan kurva polinomial dan memerlukan argumen order), serta 'spline' (polinomial bagian demi bagian yang mulus). Linear adalah bawaan yang paling aman; metode berorde lebih tinggi dapat terlalu menyesuaikan celah kecil.

Ketika Series Anda memiliki DatetimeIndex dengan jeda waktu yang tidak sama (misalnya, hanya hari kerja dan akhir pekan yang hilang), method='time' melakukan interpolasi secara proporsional terhadap waktu yang benar-benar telah berlalu, bukan hanya berdasarkan posisi. Metode ini lebih akurat daripada interpolasi linear, yang menganggap setiap baris memiliki jarak yang sama tanpa memedulikan jeda kalender.

Seperti ffill(), interpolate() menerima parameter limit untuk membatasi jumlah posisi NaN berurutan yang diisi. NaN yang tersisa setelah batas tersebut tetap hilang. Ini mencegah interpolasi berjalan melewati celah yang sangat panjang, karena nilai sebenarnya bisa berupa apa saja — celah yang panjang sebaiknya ditandai untuk ditinjau secara manual.

Imputasi mean dan median sederhana, tetapi memiliki kompromi yang penting. Mean sensitif terhadap pencilan — beberapa nilai yang sangat besar dapat menaikkannya, sehingga mean menjadi pengisi yang buruk untuk distribusi miring ke kanan seperti pendapatan atau harga rumah. Median lebih tahan terhadap pencilan dan merupakan pilihan yang lebih baik untuk kolom yang miring. Gunakan mean hanya jika data Anda kira-kira simetris dan bebas dari pencilan ekstrem.

Imputasi K-Nearest Neighbour (KNN) mengganti nilai yang hilang dengan mean (atau mean berbobot) dari k baris yang paling mirip, yang diukur berdasarkan jarak pada fitur yang tidak hilang. Ini merupakan strategi multivariat — metode ini menggunakan informasi dari kolom lain untuk menentukan pengisian, sehingga lebih akurat daripada imputasi mean satu kolom ketika fitur-fitur saling berkorelasi.

Scikit-learn KNNImputer terintegrasi langsung dengan array NumPy dan DataFrame Pandas.

Imputasi berganda merupakan standar emas untuk menangani data yang hilang dalam penelitian statistik. Scikit-learn IterativeImputer menerapkan pendekatan MICE (Multiple Imputation by Chained Equations): metode ini memodelkan setiap kolom yang memiliki nilai hilang sebagai fungsi dari kolom lainnya, lalu mengulangi imputasi hingga nilai-nilainya konvergen. Pendekatan ini menangkap hubungan antarfitur dengan lebih baik daripada strategi satu kolom.

Daripada menyembunyikan fakta bahwa suatu nilai telah diimputasi, praktik yang baik adalah menambahkan kolom indikator biner yang menandai baris mana yang memiliki nilai hilang sebelum imputasi. Dengan demikian, model berikutnya dapat mempelajari pola nilai yang hilang itu sendiri — terkadang, apakah suatu nilai hilang sama prediktifnya dengan nilai tersebut.

Aturan penting dalam alur pembelajaran mesin: hitung statistik imputasi (mean, median, mode) hanya pada kumpulan data latih, lalu terapkan nilai yang sama pada kumpulan data uji. Menghitung statistik pada seluruh kumpulan data sebelum membaginya menyebabkan kebocoran data — model secara tidak langsung melihat data uji selama pelatihan, sehingga perkiraan kinerja menjadi terlalu tinggi. Selalu sesuaikan imputers pada data latih dan lakukan transformasi pada data latih maupun data uji.

Setelah menerapkan beberapa metode imputasi, bandingkan dampaknya dengan memplot distribusi kolom asli dan kolom hasil imputasi secara berdampingan. Imputasi yang baik seharusnya mempertahankan bentuk (mean, varians, kemiringan) distribusi asli sedekat mungkin. Imputasi mean mempersempit distribusi; KNN dan MICE cenderung mempertahankannya dengan lebih baik.

Tidak ada strategi imputasi yang terbaik untuk semua keadaan — pilihan yang tepat bergantung pada konteks. Gunakan mean/median untuk kasus univariat sederhana dengan sedikit nilai yang hilang. Gunakan ffill/bfill untuk deret waktu dengan tren yang stabil. Gunakan KNN atau IterativeImputer ketika fitur saling berkorelasi dan Anda ingin memanfaatkan hubungan tersebut. Gunakan konstanta domain (misalnya, 0 untuk tidak ada, -1 untuk tidak diketahui) ketika nilai yang hilang memiliki makna bisnis yang jelas. Selalu dokumentasikan pilihan Anda.

Dalam pelajaran ini Anda mempelajari bahwa interpolate() memperkirakan nilai yang hilang dengan mengasumsikan tren yang mulus di antara nilai yang diketahui, method='time' menangani jeda DatetimeIndex yang tidak sama, dan strategi tingkat lanjut seperti KNNImputer serta IterativeImputer menggunakan kolom lain untuk menentukan pengisian. Selalu tambahkan kolom indikator sebelum imputasi dan sesuaikan statistik hanya pada kumpulan data latih untuk mencegah kebocoran data. Selanjutnya, kita akan memeriksa dan mengonversi tipe data kolom DataFrame.