Pengujian Perilaku untuk Model

Satu skor akurasi menyembunyikan perilaku model yang sebenarnya. Pengujian perilaku menyelidiki bagaimana prediksi bereaksi ketika Anda sengaja mengubah masukan.

Pengujian perilaku hanya memeriksa masukan dan keluaran, tanpa memperhatikan bagian dalam model. Pandangan kotak hitam ini berlaku untuk kerangka kerja apa pun yang Anda gunakan.

Beberapa perubahan seharusnya tidak mengubah prediksi sama sekali. Pengujian kekekalan mengganti kata netral dan memastikan keluarannya tetap sama.

Perubahan lain seharusnya mengubah keluaran ke arah yang telah diketahui. Pengujian arah menambahkan kata positif dan memastikan skor meningkat, bukan menurun.

Periksa kasus mudah yang tidak boleh terlewat oleh model. Pengujian fungsi minimum memastikan contoh yang jelas mendapatkan label yang jelas.

Ketiga jenis pengujian ini berasal dari makalah CheckList untuk NLP. Pola ini dapat diterapkan pada model tabular, visi komputer, dan model apa pun yang Anda rilis.

Jalankan kasus yang sama untuk berbagai kelompok. Pengujian irisan memastikan kualitas prediksi tetap stabil ketika hanya atribut sensitif yang berubah.

Tambahkan salah ketik atau ubah sedikit sebuah angka, dan labelnya seharusnya tetap. Pengujian ketahanan melindungi dari gangguan kecil yang tidak berbahaya.

Kunci keluaran untuk contoh tetap agar pelatihan ulang tidak mengubahnya diam-diam. Pengujian regresi ini menandai perubahan perilaku yang tidak terduga.

Pengujian perilaku adalah fungsi pytest biasa. Pengujian ini berada di samping pengujian data Anda dan berjalan dalam langkah CI yang sama setiap kali melakukan push.

Setiap pengujian perilaku adalah aturan tertulis yang harus dipatuhi model. Bersama-sama, pengujian tersebut membentuk spesifikasi perilaku yang diharapkan dan terus diperbarui.

Sekarang Anda menjalankan pengujian perilaku: kasus kekekalan, arah, dan fungsi minimum yang mengubah perilaku model yang diharapkan menjadi pemeriksaan yang diwajibkan CI. ✅