Menyeragamkan Kategori yang Tidak Konsisten

Saat data kategori dimasukkan oleh manusia, konsep yang sama dapat muncul dengan banyak ejaan berbeda: Elektronik, elektronik, ELECTRONICS, Elektronicss. Operasi groupby pada kolom ini menghasilkan puluhan kelompok kecil, bukan satu kelompok yang bermakna. Menstandardisasi kategori menjadi daftar kanonis merupakan salah satu langkah pembersihan terpenting sebelum agregasi atau pembuatan fitur pembelajaran mesin.

Langkah standardisasi pertama dan termudah adalah menormalkan kapitalisasi dan spasi. Terapkan .str.strip().str.lower() untuk menghapus spasi di awal dan akhir serta mengubah semuanya menjadi huruf kecil sebelum melakukan perbandingan lain. Langkah tunggal ini menyatukan banyak variasi: Elektronik, elektronik, dan ' Elektronik ' semuanya menjadi elektronik setelah normalisasi.

Setelah kapitalisasi dinormalisasi, banyak variasi masih berbeda karena singkatan, sinonim, atau nama lama. Buat kamus pemetaan alias dengan ejaan variasi sebagai kunci dan bentuk kanonis sebagai nilainya. Terapkan dengan df['category_clean'].map(alias_map).fillna(df['category_clean']) — fillna mempertahankan nilai yang tidak terdapat dalam kamus, alih-alih menggantinya dengan NaN.

Beberapa nama kategori memiliki kesalahan pemformatan yang konsisten, seperti spasi ganda atau angka di akhir. Gunakan .str.replace() dengan ekspresi reguler untuk memperbaiki pola tersebut pada semua baris sekaligus. Misalnya, .str.replace(r'\s+', ' ', regex=True) menggabungkan beberapa spasi menjadi satu, sedangkan .str.replace(r'\d+$', '', regex=True) menghapus digit di akhir nama kategori.

Jika salah ketik tidak dapat diprediksi, gunakan pencocokan fuzzy untuk menemukan kategori kanonis yang paling dekat untuk setiap variasi. difflib.get_close_matches() bawaan Python mengembalikan kecocokan terbaik dari daftar kategori yang valid berdasarkan kemiripan string. Terapkan sebagai fungsi pembantu melalui df['category'].apply() untuk menyelesaikan variasi yang tidak dapat ditangani hanya oleh map().

Tentukan kategori kanonis secara eksplisit, bukan menyimpulkannya dari data. Daftar yang ditulis secara langsung memaksa setiap nilai melewati gerbang validasi; nilai apa pun yang tidak ada dalam daftar akan ditandai sebagai tidak dikenal. Simpan daftar kanonis dalam file konfigurasi atau kolom DataFrame terpisah agar mudah diperbarui ketika bisnis menambahkan kategori produk baru tanpa mengubah kode pembersihan.

Kategori tidak dikenal yang tidak cocok dengan nilai kanonis mana pun setelah perbaikan fuzzy sebaiknya dikelompokkan di bawah label Lainnya, bukan dihapus, agar Anda tidak kehilangan baris secara diam-diam. Tetapkan nilainya menjadi 'other' dengan np.where() atau penetapan bersyarat sederhana. Catat jumlah baris yang dipetakan ke 'other' dan tinjau baris tersebut untuk menemukan pola yang mungkin memerlukan kategori kanonis baru.

Setelah standardisasi, ubah kolom kategori yang telah dibersihkan menjadi tipe data Categorical Pandas dengan daftar kategori valid yang ditentukan secara eksplisit. Ini menerapkan skema: setiap upaya untuk menetapkan kategori yang tidak valid akan menimbulkan error. Cara ini juga mengurangi penggunaan memori dengan menyimpan string kategori sebagai kode integer secara internal, serta mempercepat operasi groupby pada DataFrames berukuran besar.

Setelah semua langkah standardisasi selesai, lakukan validasi akhir: pastikan tidak ada nilai di luar kumpulan kanonis pada kolom yang telah dibersihkan. Gunakan assert df['category_final'].isin(valid_set).all(). Tempatkan assertion ini di akhir fungsi pembersihan agar dijalankan setiap kali pipeline dieksekusi, sehingga regresi dapat terdeteksi ketika data mentah baru berisi label kategori yang sebelumnya belum pernah ditemukan.

Buat tabel perbedaan yang menampilkan nilai asli dan penggantinya setelah dibersihkan untuk setiap baris yang berubah. Jejak audit ini memungkinkan pemilik data meninjau serta menyetujui atau menolak pemetaan tertentu. Gunakan boolean mask untuk memilih baris yang berubah, lalu bandingkan kolom asli dan kolom akhir secara berdampingan. Ekspor perbedaan tersebut sebagai CSV agar dapat ditinjau oleh pemangku kepentingan nonteknis.

Ganti kolom kategori asli yang masih berantakan dengan kolom yang telah distandardisasi, lalu hapus kolom kerja sementara sebelum menyimpan data. Simpan kamus pemetaan alias dan ambang batas perbaikan fuzzy di konfigurasi pipeline agar standardisasi dapat direproduksi sepenuhnya. Proses pembersihan yang dijalankan dua bulan kemudian pada dump data baru seharusnya menghasilkan hasil yang sama untuk nilai input yang sama.

Uji pemahaman Anda tentang konsep Analisis Data dari pelajaran ini.

Dalam pelajaran ini, Anda mempelajari: menormalkan huruf besar-kecil dan spasi sebagai langkah standardisasi pertama, memetakan alias dan menerapkan pencocokan fuzzy untuk memperbaiki salah ketik, serta menerapkan daftar kategori kanonis dengan tipe data Categorical dan assertion. Selanjutnya, kita akan membahas validasi skema dan assertion saat runtime untuk melindungi setiap tahap pipeline.