Naikkan Otomatis Hanya Jika Mengungguli Baseline

Model yang baru dilatih ulang bisa lebih buruk daripada model yang sedang digunakan di produksi. Jangan pernah mempromosikan model baru secara membabi buta hanya karena lebih baru.

Model yang sedang digunakan adalah juara; kandidat baru adalah penantang. Promosi adalah kompetisi yang harus dimenangkan penantang berdasarkan metrik.

Tolok ukur Anda adalah skor juara saat ini pada kumpulan evaluasi tetap. Penantang harus mengungguli angka tersebut dengan jelas agar layak dipromosikan.

Nilai kedua model pada kumpulan data pengujian identik yang disisihkan. Perbandingan yang adil hanya berlaku jika tidak ada hal lain yang berubah di antara keduanya.

Bungkus keputusan dalam pemeriksaan yang hanya mengembalikan true jika penantang menang. Gerbang ini membandingkan kedua skor secara langsung.

Keuntungan kecil bisa jadi hanya derau, jadi tetapkan selisih yang nyata. Menuntut peningkatan setidaknya 1% mencegah model produksi terus berganti tanpa alasan.

Bandingkan berdasarkan metrik yang penting untuk tugas Anda, seperti F1 atau AUC, bukan hanya akurasi mentah. Metrik yang salah akan mempromosikan model yang salah.

Letakkan gerbang tepat setelah evaluasi dalam DAG Anda. Jika penantang kalah, alur kerja berhenti dan juara tetap digunakan.

Kemenangan berarti memindahkan tahap model ke Production di registri. Peralihan ini adalah satu-satunya tindakan yang mengubah apa yang diterima pengguna.

Catat kedua skor dan hasilnya pada setiap proses. Jejak audit tersebut nantinya menjelaskan mengapa suatu model dipromosikan atau tidak.

Penantang dapat terlihat luar biasa karena kumpulan data pengujian bocor atau menyusut. Lakukan pemeriksaan kewajaran pada evaluasi sebelum mempercayai promosi apa pun.

Anda mengendalikan promosi berdasarkan hasil: bandingkan penantang dengan juara menggunakan data yang sama, tetapkan selisih, lalu pindahkan pemenang dalam registri. ✅