Kalite Kapıları ve Eşikleri Belirleyin

Kalite kapısı, kötü bir modelin kullanıma sunulmasını engelleyen otomatik bir kuraldır. Yeni model eşiği geçemezse derleme başarısız olur.

F1 veya AUC gibi, görev için en önemli olan tek bir ölçüt seçin. Birincil ölçütünüz kapıyı yönlendirir ve kararın net kalmasını sağlar.

En basit kapı, kesin bir alt sınırdır. Mutlak eşik, puanı sabit bir asgari değerin altında kalan tüm modelleri engeller.

Basit bir modeli geçmek gerçek değeri kanıtlar. Bir temel model kapısı, çoğunluk sınıfını tahmin etmeyi geçemediğinizde derlemeyi başarısız kılar.

Yeni model mevcut modelden daha kötü olmamalıdır. Bir gerileme kapısı adayı canlı modelle karşılaştırır ve her düşüşü reddeder.

Puanlar rastlantısallık nedeniyle çalışmadan çalışmaya değişebilir. Küçük bir tolerans, gerçek gerilemeleri yakalamaya devam ederken kararsız başarısızlıkları önler.

Genel sayılar zayıf grupları gizleyebilir. Bir dilim kapısı, yalnızca ortalamanın değil, en kötü kesimin de kendi asgari değerini aşmasını gerektirir.

Üretimde gecikme ve model boyutu önemlidir. Doğruluk dışı sınırlar için de kapılar ekleyin; böylece yavaş veya çok büyük bir model de derlemeyi başarısız kılar.

Başarısız bir doğrulama, sıfır olmayan bir çıkış kodu döndürür. CI bu çıkış kodunu okur ve dağıtımı durdurur; böylece hiç kimse yanlışlıkla bir şey yayımlayamaz.

Her kapı sonucunu MLflow'a veya bir dosyaya kaydedin. Kaydedilmiş bir geçmiş, eşiklerin ve puanların zaman içinde nasıl değiştiğini görmenizi sağlar.

Eşiği kötü modelleri engelleyecek, ancak iyi modelleri engellemeyecek şekilde belirleyin. Model ve iş geliştikçe her eşiği yeniden değerlendirin.

Artık kalite kapıları belirliyorsunuz: zayıf bir model yayımlanmadan önce derlemeyi başarısız kılan mutlak alt sınırlar, temel model ve gerileme denetimleri, dilim ve gecikme sınırları. ✅