Yalnızca Temel Modeli Geçerse Otomatik İlerletin

Yeni yeniden eğitilmiş bir model, üretimdeki modelden daha kötü olabilir. Sırf daha yeni olduğu için yeni bir modeli asla körü körüne yayına almayın.

Canlı model şampiyondur; yeni aday ise challenger'dır. Yayına alma, challenger'ın metriklerde kazanması gereken bir yarıştır.

Temel değeriniz, sabit bir değerlendirme kümesi üzerindeki mevcut şampiyon puanıdır. Challenger'ın yayına alınmayı hak etmesi için bu değeri açıkça aşması gerekir.

Her iki modeli de aynı, ayrılmış test kümesi üzerinde puanlayın. Adil bir karşılaştırma ancak aralarında başka hiçbir şey değişmediğinde geçerlidir.

Kararı, yalnızca challenger kazandığında doğru döndüren bir kontrolün içine alın. Bu kapı, iki puanı doğrudan karşılaştırır.

Küçük kazanımlar gürültüden kaynaklanabilir; bu nedenle gerçek bir fark payı isteyin. En az %1'lik bir artış talep etmek, üretim modelini boş yere sık sık değiştirmeyi önler.

Yalnızca ham doğruluğa değil, F1 veya AUC gibi göreviniz için önemli olan metriğe göre karşılaştırma yapın. Yanlış metrik, yanlış modeli yayına alır.

Kapıyı DAG'nizde değerlendirmenin hemen sonrasına yerleştirin. Challenger kaybederse işlem hattı durur ve şampiyon canlı kalır.

Kazanmak, model aşamasını kayıt defterinde Production'a taşımak anlamına gelir. Bu geçiş, kullanıcıların hangi modeli alacağını değiştiren tek işlemdir.

Her çalıştırmada her iki puanı ve sonucu kaydedin. Bu denetim kaydı, daha sonra bir modelin neden yayına alındığını veya alınmadığını açıklar.

Test kümesi sızmış veya küçülmüşse challenger harika görünebilir. Herhangi bir yayına alma kararına güvenmeden önce değerlendirmeyi makullük açısından kontrol edin.

Yayına alma kararını sonuçlara bağladınız: aynı veriler üzerinde challenger'ı şampiyonla karşılaştırın, bir fark payı isteyin ve ardından kazananı kayıt defterinde geçiş yaptırarak yayına alın. ✅