Vincolare i merge alla qualità del modello

Un quality gate impedisce il merge di una pull request a meno che il nuovo modello non sia abbastanza valido. Trasforma la qualità del modello in una regola vincolante, non in una speranza. 🚧

Il codice può superare ogni test e produrre comunque un modello peggiore. Serve un controllo separato sulla metrica, ad esempio precisione o F1, per proteggere gli utenti.

Scelga una singola metrica primaria che rifletta il successo del Suo compito. Imporre un gate su troppi numeri contemporaneamente rende ogni PR una trattativa confusa.

Definisca un limite minimo: la Sua soglia. Se il nuovo modello ottiene un punteggio inferiore, la build fallisce e il merge viene bloccato automaticamente.

Calcoli sempre il punteggio sullo stesso test set separato. Un set di valutazione congelato rende equi i confronti tra ogni pull request ed esecuzione.

Nella CI, uno step che termina con un codice diverso da zero contrassegna il job come fallito. Quindi, se la metrica non raggiunge il valore richiesto, generi intenzionalmente un errore per interrompere il merge.

Un gate più efficace confronta il nuovo modello con la baseline attualmente in produzione, bloccando i merge che introducono regressioni invece di verificare soltanto il raggiungimento di un numero fisso.

In GitHub, contrassegni il job CI come required check nelle impostazioni di protezione del branch. A quel punto il pulsante di merge resta disabilitato finché il gate non viene superato.

Stampi il punteggio affinché i revisori possano vederlo. Una riga di log chiara o un comment nella PR che mostra la metrica trasforma una X rossa in una spiegazione affidabile.

A volte una piccola diminuzione è accettabile. Permetta a una persona di override un gate fallito tramite l'approvazione della revisione, così la regola fornisce una guida senza bloccare completamente il team.

Imposti un seed e un set di test stabile, così lo stesso modello produce lo stesso numero. Una valutazione deterministica impedisce al gate di fallire per pura casualità.

Scelga una metrica, imposti una soglia oppure superi la baseline, quindi faccia fallire la build quando il valore non viene raggiunto. Contrassegni il job come obbligatorio, così un modello debole non potrà mai essere unito senza che nessuno se ne accorga.