Alleen promoveren als het model de baseline verslaat

Een pas opnieuw getraind model kan slechter zijn dan het model in productie. Promoveer een nieuw model nooit blindelings alleen omdat het nieuwer is.

Het live model is de kampioen; de nieuwe kandidaat is de uitdager. Promotie is een wedstrijd die de uitdager op basis van de metrieken moet winnen.

Je basislijn is de score van de huidige kampioen op een vaste evaluatieset. De uitdager moet dat getal duidelijk overtreffen om promotie te verdienen.

Bereken de score van beide modellen op exact dezelfde, apart gehouden testset. Een eerlijke vergelijking telt alleen als er verder niets tussen beide is veranderd.

Verpak de beslissing in een controle die alleen true teruggeeft als de uitdager wint. Deze poort vergelijkt de twee scores rechtstreeks.

Kleine verbeteringen kunnen ruis zijn, dus vereist je een echte marge. Door minimaal 1% verbetering te eisen voorkom je dat je het productiemodel onnodig steeds vervangt.

Vergelijk op de metriek die voor je taak belangrijk is, zoals F1 of AUC, en niet alleen op de ruwe nauwkeurigheid. Met de verkeerde metriek promoveer je het verkeerde model.

Plaats de poort direct na de evaluatie in je DAG. Als de uitdager verliest, stopt de pijplijn en blijft de kampioen live.

Winnen betekent dat je de fase van het model in het register wijzigt naar Production. Deze overgang is de enige actie die verandert wat aan gebruikers wordt aangeboden.

Leg bij elke uitvoering beide scores en de uitkomst vast. Dit auditspoor verklaart later waarom een model wel of niet is gepromoveerd.

Een uitdager kan er geweldig uitzien omdat er gegevens uit de testset zijn gelekt of omdat de set kleiner is geworden. Controleer de evaluatie kritisch voordat je een promotie vertrouwt.

Je hebt promotie afhankelijk gemaakt van resultaten: vergelijk de uitdager met de kampioen op dezelfde gegevens, vereis een marge en wijzig daarna het register naar de winnaar. ✅