Lad modelkvalitet afgøre merges
Blokér en PR, hvis den nye model scorer dårligere.
Lad modelkvalitet afgøre merges er en gratis MLOps Academy-lektion på CoddyKit. Dette er lektion 3 af 4. Du kan læse hele lektionen gratis nedenfor — og derefter øve dig praktisk i browseren med en indbygget kodeeditor og en AI-vejleder, der er tilgængelig døgnet rundt. Den er en del af læringsforløbet i MLOps Academy, og dine fremskridt synkroniseres på tværs af nettet og CoddyKit-appen. MLOps Academy-kurset indeholder 4 lektioner i alt.
En port ved sammenfletningen
En kvalitetsport forhindrer en pull request i at blive sammenflettet, medmindre den nye model er god nok. Den gør modelkvalitet til en fast regel i stedet for et håb. 🚧
Hvorfor kodetests ikke er nok
Kode kan bestå alle tests og stadig producere en dårligere model. Du har brug for en separat kontrol af metrikken, f.eks. nøjagtighed eller F1, for at beskytte brugerne.
Vælg én beskyttende metrik
Vælg én primær metrik, der afspejler succes for din opgave. Hvis du bruger for mange tal som porte på én gang, bliver enhver PR en forvirrende forhandling.
Sæt en tydelig tærskel
Definér en minimumsgrænse, din tærskel. Hvis den nye model scorer under den, mislykkes buildet, og sammenfletningen blokeres automatisk.
MIN_ACCURACY = 0.85Evaluér på et fast sæt
Beregn altid scoren på det samme tilbageholdte testsæt. Et fast evalueringssæt gør sammenligninger fair på tværs af alle pull requests og kørsler.
Lad buildet mislykkes med vilje
I CI markeres et job som mislykket, hvis et trin afsluttes med en kode, der ikke er nul. Hvis metrikken derfor ikke når målet, hæver du bevidst en fejl for at stoppe sammenfletningen.
if acc < MIN_ACCURACY:
raise SystemExit(f"acc {acc} below bar")Sammenlign med den bedste
En smartere port sammenligner den nye model med den aktuelle baseline i produktion og blokerer sammenfletninger, der giver dårligere resultater, i stedet for blot at ramme et fast tal.
assert new_acc >= baseline_accGrenbeskyttelse håndhæver det
I GitHub markerer du CI-jobbet som en påkrævet kontrol under grenbeskyttelse. Derefter forbliver knappen til sammenfletning deaktiveret, indtil din port består.
Vis tallet i PR'en
Udskriv scoren, så code reviewere kan se den. En tydelig loglinje eller kommentar i PR'en, der viser metrikken, gør et rødt X til en forklaring, folk kan stole på.
print(f"::notice::accuracy={acc:.3f}")Tillad en gennemgået tilsidesættelse
Nogle gange er et lille fald acceptabelt. Lad et menneske tilsidesætte en mislykket port ved at godkende gennemgangen, så reglen vejleder uden fuldstændig at blokere teamet.
Beskyt mod ustabile scorer
Angiv et seed, og brug et stabilt testsæt, så den samme model giver det samme tal. En deterministisk evaluering forhindrer, at porten mislykkes på grund af rent held.
Hurtigt tjek
Hvordan blokerer et CI-trin faktisk en sammenfletning, når modellen er for svag?
Opsamling
Vælg én metrik, angiv en tærskel eller slå baselinen, og lad buildet mislykkes, hvis modellen ikke når målet. Markér jobbet som påkrævet, så en svag model aldrig kan blive sammenflettet ubemærket.
Lær Python med en AI-underviser — gratis
Skriv og kør rigtig kode i din browser, få øjeblikkelig hjælp fra en AI-underviser døgnet rundt, og fortsæt, hvor du slap, på web eller i appen.
- Kurser
- 30
- Lektioner
- 120
Ofte stillede spørgsmål
Er lektionen “Lad modelkvalitet afgøre merges” gratis?
Ja — hele teksten til “Lad modelkvalitet afgøre merges” kan læses gratis her på nettet. Hvis du vil øve dig interaktivt med en indbygget kodeeditor og en AI-vejleder døgnet rundt og få adgang til resten af MLOps Academy-kurset, skal du opgradere til CoddyKit PRO. MLOps Academy-kurset indeholder 4 lektioner i alt.
Hvad lærer jeg i “Lad modelkvalitet afgøre merges”?
Blokér en PR, hvis den nye model scorer dårligere. Du øver dig i MLOps Academy med praktisk kode, som du kører direkte i browseren, og en AI-vejleder døgnet rundt besvarer dine spørgsmål, mens du arbejder dig gennem lektionen.
Skal jeg have erfaring for at begynde på MLOps Academy?
Der kræves ingen tidligere erfaring. MLOps Academy på CoddyKit er tilrettelagt for både begyndere og øvede, så du kan starte her eller fra begyndelsen og lære i dit eget tempo. Dette er lektion 3 af 4.
Hvor lang tid tager lektionen “Lad modelkvalitet afgøre merges”?
De fleste CoddyKit-lektioner tager cirka 5–10 minutter. Hver lektion er kort og interaktiv, så du gør løbende fremskridt og kan fortsætte, hvor du slap – på både web og app.
Kan jeg skrive og køre kode i denne MLOps Academy-lektion?
Ja. Alle MLOps Academy-lektioner har en indbygget kodeeditor, så du kan skrive og køre rigtig kode direkte i din browser og få øjeblikkelig feedback fra AI – uden lokal opsætning.
Alle lektioner i dette kursus
- Hvad CI/CD betyder for modeller
- Et GitHub Actions-workflow til ML
- Lad modelkvalitet afgøre merges
- Byg og push imaget ved en release