Ställ kvalitetskrav för sammanslagningar
Blockera en PR om den nya modellen får sämre resultat.
Ställ kvalitetskrav för sammanslagningar är en gratis lektion i MLOps Academy på CoddyKit. Detta är lektion 3 av 4. Ni kan läsa hela lektionen gratis nedan och sedan öva praktiskt i webbläsaren med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt. Den ingår i lärvägen för MLOps Academy, och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i MLOps Academy innehåller totalt 4 lektioner.
En grind vid merge
En kvalitetsgrind hindrar en pull request från att mergas om den nya modellen inte är tillräckligt bra. Den gör modellkvalitet till en fast regel i stället för ett hopp. 🚧
Varför kodtester inte räcker
Koden kan klara alla tester och ändå ge en sämre modell. Ni behöver en separat kontroll av mätvärdet, till exempel accuracy eller F1, för att skydda användarna.
Välj ett mätvärde som skydd
Välj ett enda primärt mätvärde som speglar vad som räknas som framgång för er uppgift. Om ni ställer krav på för många tal samtidigt blir varje PR en förvirrande förhandling.
Ange en tydlig tröskel
Definiera en lägstanivå, er tröskel. Om den nya modellen får ett lägre resultat än den misslyckas bygget och mergningen blockeras automatiskt.
MIN_ACCURACY = 0.85Utvärdera på en fast uppsättning
Beräkna alltid resultatet mot samma reserverade testuppsättning. En fryst utvärderingsuppsättning gör jämförelser rättvisa för varje pull request och körning.
Misslyckas med bygget med avsikt
I CI markeras jobbet som misslyckat när ett steg avslutas med en kod som inte är noll. Om mätvärdet alltså inte når upp till kravet genererar ni medvetet ett fel för att stoppa mergningen.
if acc < MIN_ACCURACY:
raise SystemExit(f"acc {acc} below bar")Jämför med den bästa modellen
En smartare grind jämför den nya modellen med den aktuella baslinjen i produktion och blockerar försämringar i stället för att bara kräva ett fast tal.
assert new_acc >= baseline_accBranchskydd tvingar igenom regeln
I GitHub markerar ni CI-jobbet som en obligatorisk kontroll under branchskydd. Då förblir mergeknappen inaktiverad tills grinden har godkänts.
Visa talet i PR:en
Skriv ut resultatet så att granskarna ser det. En tydlig rad i loggen eller en kommentar i PR:en som visar mätvärdet förvandlar ett rött X till en förklaring som människor kan lita på.
print(f"::notice::accuracy={acc:.3f}")Tillåt ett granskat undantag
Ibland är en liten försämring acceptabel. Låt en människa åsidosätta en underkänd grind genom ett godkännande i granskningen, så att regeln vägleder utan att helt blockera teamet.
Skydda mot varierande resultat
Ange ett seed och en stabil testuppsättning så att samma modell ger samma tal. En deterministisk utvärdering hindrar grinden från att underkännas på grund av ren slump.
Snabb kontroll
Hur blockerar ett CI-steg faktiskt en merge när modellen är för svag?
Repetition
Välj ett mätvärde, ange en tröskel eller överträffa baslinjen och låt bygget misslyckas när kravet inte uppfylls. Markera jobbet som obligatoriskt så att en svag modell aldrig kan mergas obemärkt.
Lär dig Python med en AI-lärare – gratis
Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.
- Kurser
- 30
- Lektioner
- 120
Vanliga frågor
Är lektionen ”Ställ kvalitetskrav för sammanslagningar” gratis?
Ja – hela texten till ”Ställ kvalitetskrav för sammanslagningar” kan läsas gratis här på webben. Om Ni vill öva interaktivt med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt och låsa upp resten av kursen i MLOps Academy, kan Ni uppgradera till CoddyKit PRO. Kursen i MLOps Academy innehåller totalt 4 lektioner.
Vad lär jag mig i ”Ställ kvalitetskrav för sammanslagningar”?
Blockera en PR om den nya modellen får sämre resultat. Ni övar på MLOps Academy med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.
Behöver jag någon erfarenhet för att börja lära mig MLOps Academy?
Du behöver inga förkunskaper. Utbildningen i MLOps Academy på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 3 av 4.
Hur lång tid tar lektionen ”Ställ kvalitetskrav för sammanslagningar”?
De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.
Kan jag skriva och köra kod i den här MLOps Academy-lektionen?
Ja. Varje MLOps Academy-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.
Alla lektioner i den här kursen
- Vad CI/CD innebär för modeller
- Ett GitHub Actions-arbetsflöde för ML
- Ställ kvalitetskrav för sammanslagningar
- Bygg och skicka avbildningen vid en release