Jadikan Kualitas Model sebagai Syarat Penggabungan

Gerbang kualitas mencegah permintaan penarikan digabungkan kecuali model baru cukup baik. Gerbang ini menjadikan kualitas model sebagai aturan tegas, bukan sekadar harapan. 🚧

Kode dapat lolos semua pengujian, tetapi tetap menghasilkan model yang lebih buruk. Anda memerlukan pemeriksaan terpisah pada metrik, seperti akurasi atau F1, untuk melindungi pengguna.

Pilih satu metrik utama yang mencerminkan keberhasilan tugas Anda. Menetapkan gerbang berdasarkan terlalu banyak angka sekaligus membuat setiap PR menjadi negosiasi yang membingungkan.

Tentukan batas minimum, yaitu ambang Anda. Jika skor model baru berada di bawahnya, proses pembuatan gagal dan penggabungan diblokir secara otomatis.

Selalu hitung skor menggunakan kumpulan data pengujian tersisih yang sama. Kumpulan evaluasi yang dibekukan membuat perbandingan adil pada setiap permintaan penarikan dan proses.

Dalam CI, langkah yang keluar dengan kode bukan nol menandai pekerjaan sebagai gagal. Jadi, jika metrik tidak memenuhi syarat, Anda sengaja memunculkan galat untuk menghentikan penggabungan.

Gerbang yang lebih cerdas membandingkan model baru dengan acuan yang sedang digunakan di produksi, dan memblokir penggabungan yang mengalami penurunan, bukan hanya yang tidak mencapai angka tetap.

Di GitHub, tandai pekerjaan CI sebagai pemeriksaan wajib dalam perlindungan cabang. Setelah itu, tombol penggabungan tetap dinonaktifkan sampai gerbang Anda berhasil dilewati.

Cetak skornya agar peninjau dapat melihatnya. Baris catatan yang jelas atau komentar PR yang menampilkan metrik mengubah tanda X merah menjadi penjelasan yang dapat dipercaya.

Terkadang penurunan kecil tidak masalah. Izinkan manusia melakukan penggantian terhadap gerbang yang gagal melalui persetujuan peninjauan, sehingga aturan tetap membimbing tanpa sepenuhnya menghalangi tim.

Tetapkan seed dan kumpulan data pengujian yang stabil agar model yang sama menghasilkan angka yang sama. Evaluasi yang deterministik mencegah gerbang gagal hanya karena faktor keberuntungan.

Bagaimana langkah CI benar-benar memblokir penggabungan saat model terlalu lemah?

Pilih satu metrik, tetapkan ambang atau lampaui acuannya, lalu buat proses pembuatan gagal jika tidak memenuhi syarat. Tandai pekerjaan sebagai wajib agar model yang lemah tidak pernah dapat digabungkan secara diam-diam.