Validasi Skema dan Pernyataan

Pipeline data memproses data baru secara otomatis, sering kali tanpa peninjauan manusia. Jika skema file input berubah — kolom diganti namanya, format tanggal berubah, atau kategori baru muncul — pipeline seharusnya gagal secara jelas, bukan menghasilkan output yang salah secara diam-diam. Validasi skema dengan assertion merupakan mekanisme yang menegakkan kontrak antara produsen data dan konsumen data, serta menemukan masalah sedini mungkin.

Validasi yang paling mendasar adalah memeriksa bahwa semua kolom yang diperlukan tersedia. Simpan kumpulan kolom yang diharapkan dalam konfigurasi, lalu pastikan kumpulan tersebut merupakan subset dari kolom yang sebenarnya. Pemeriksaan ini segera mendeteksi perubahan nama dan penghapusan kolom saat pipeline dimulai, sebelum kode berikutnya mencoba mengakses kolom yang hilang dan menimbulkan KeyError yang membingungkan jauh di dalam pipeline.

Setelah memeriksa kolom yang diperlukan, validasikan tipe datanya. Kolom tanggal yang dimuat sebagai object berarti pd.to_datetime() belum dipanggil. Kolom ID yang disimpan sebagai float, bukan int64, sering kali menunjukkan adanya nilai NaN yang menghalangi penyimpanan sebagai integer. Tulis assertion tipe menggunakan assert df['col'].dtype == expected_type untuk kolom yang paling penting.

Kolom utama seperti order_id, order_date, dan revenue seharusnya tidak pernah bernilai null. Gunakan df['col'].notna().all() untuk masing-masing kolom tersebut. Agar pesan assertion dapat ditindaklanjuti, sertakan jumlah nilai null sehingga operator pipeline mengetahui skala masalahnya, bukan sekadar mengetahui bahwa assertion gagal.

Kolom numerik sering memiliki rentang yang valid secara bisnis. Pendapatan harus tidak negatif. Kuantitas harus berupa integer positif. Harga satuan harus lebih besar dari nol. Tegaskan batasan ini secara eksplisit — baris pendapatan negatif yang lolos akan membuat total menjadi lebih kecil dalam setiap agregasi berikutnya tanpa menimbulkan error. Pemeriksaan rentang mendeteksi kesalahan entri data dan bug pada sistem sumber lebih awal.

Setelah deduplikasi, order_id seharusnya unik. Gunakan df['order_id'].is_unique untuk memastikan invarian ini tetap terpenuhi pada setiap proses pipeline. Pelanggaran keunikan setelah deduplikasi menunjukkan adanya bug dalam logika deduplikasi atau sumber data baru yang belum dibersihkan sebelum digabungkan ke dataset utama.

Untuk kolom dengan kumpulan nilai valid yang terbatas — seperti region atau category — pastikan setiap nilai termasuk dalam kumpulan yang diizinkan. Ini mendeteksi nilai asing yang muncul setelah migrasi sistem atau perubahan pada entri data sumber. Tentukan kumpulan nilai valid dalam konfigurasi pipeline agar mudah diperbarui ketika bisnis berekspansi ke wilayah baru.

Validasikan bahwa semua tanggal berada dalam periode yang diharapkan untuk dataset tersebut. Pesanan bertanggal di masa depan tidak mungkin terjadi; pesanan bertanggal sebelum perusahaan berdiri menunjukkan adanya catatan yang rusak. Tentukan MIN_DATE dan MAX_DATE dalam konfigurasi, lalu pastikan kolom berada dalam batas tersebut. Ini juga mendeteksi tanggal nol epoch Unix (1970-01-01) akibat konversi timestamp yang keliru.

Perubahan mendadak pada jumlah baris dibandingkan proses pipeline sebelumnya merupakan sinyal kuat adanya masalah pada sumber data. Simpan jumlah baris proses sebelumnya dalam file konfigurasi, lalu pastikan jumlah baru berada dalam rentang toleransi — misalnya, dalam ±20% dari jumlah historis. Dataset yang kehilangan 50% baris di antara dua proses hampir pasti menunjukkan ekspor data yang rusak.

Kumpulkan semua assertion ke dalam satu fungsi validate(df) yang dapat dipanggil di awal setiap tahap pipeline. Setiap pemeriksaan menimbulkan AssertionError dengan pesan deskriptif jika gagal. Pola ini membuat pipeline terdokumentasi secara mandiri: fungsi validasi menjadi kontrak skema yang dapat dibaca mesin untuk DataFrame pada tahap tersebut.

Dalam pipeline produksi, crash akibat assert keras dapat diterima selama pengembangan, tetapi tidak diinginkan dalam pekerjaan terjadwal. Ganti assertion tanpa penanganan dengan blok try/except AssertionError yang mencatat pesan error dan, jika perlu, mengirimkan peringatan sebelum keluar. Dengan demikian, sistem pemantauan dapat menangkap alasan kegagalan, bukan hanya traceback pengecualian yang tidak tertangani.

Dalam pelajaran ini, Anda mempelajari: memastikan kolom yang diperlukan, dtype, batasan non-null, dan validitas rentang, memeriksa kunci unik, nilai kategorikal, dan rentang tanggal, serta mengemas semua pemeriksaan ke dalam fungsi validate() yang dapat digunakan kembali dan dilengkapi logging. Selanjutnya, kita akan membahas agregasi khusus menggunakan apply() pada kolom dan baris.