Definer kriterier for automatisk tilbakeføring
Gå tilbake når feil eller latenstid overskrider en sikkerhetsgrense.
Definer kriterier for automatisk tilbakeføring er en gratis leksjon i MLOps Academy på CoddyKit. Dette er leksjon 3 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i MLOps Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i MLOps Academy inneholder totalt 4 leksjoner.
Hvorfor automatisere tilbakerulling
Klokken tre om natten er det ingen som følger med på dashbordene. Automatisk tilbakerulling lar systemet selv tilbakestille en dårlig modell idet den overskrider en faregrense. 🚨
Velg tydelige sikkerhetsgrenser
En regel for tilbakerulling trenger en målbar sikkerhetsmetrik, for eksempel feilrate eller p99-latens, med en verdi som tydelig betyr at noe er galt.
Sett en fast terskel
Gjør vag bekymring om til en konkret grense. Rull for eksempel tilbake hvis canaryens feilrate overstiger 2 % i målevinduet.
ROLLBACK_RULES = {
"error_rate": 0.02,
"p99_latency_ms": 500,
}Sammenlign med champion
Absolutte grenser fanger ikke opp langsomme forverringer. Rull også tilbake hvis canaryen tydelig er dårligere enn champion, for eksempel med 20 % høyere latens på den samme trafikken.
Velg et tidsvindu
Vurder metrikkene over et rullerende vindu, for eksempel de siste fem minuttene. Én uheldig forespørsel bør aldri alene utløse en full tilbakerulling.
Vent på nok trafikk
En feilrate på 100 % over tre forespørsler betyr ingenting. Krev en minste utvalgsstørrelse før en metrikk kan utløse tilbakerulling.
Avgjørelsen i kode
Sjekken er bare en sammenligning: Hvis den aktive metrikken overskrider grensen, returneres et signal om tilbakerulling som orkestratoren kan reagere på.
def should_rollback(metrics):
return (
metrics["error_rate"] > 0.02
or metrics["p99_latency_ms"] > 500
)Følg også med på forretningsmetrikker
En modell kan være rask og feilfri, men likevel få konverteringene til å stupe. Beskytt resultatene som betyr noe, ikke bare de tekniske helsesignalene.
Gjør tilbakerulling billig
Tilbakerulling bør være ett raskt og trygt trinn: Send trafikken tilbake til den utprøvde champion-modellen. Hold den forrige versjonen varm og klar til å ta over.
Varsle alltid et menneske
Automatisering håndterer nødstoppet, men må også varsle teamet. En automatisk tilbakerulling bør varsle noen som kan undersøke rotårsaken.
Unngå flapping
Ikke distribuer den samme modellen automatisk på nytt rett etter en tilbakerulling. Frys utrullingen til et menneske har gjennomgått den, slik at den ikke veksler frem og tilbake.
Hurtigsjekk
Hvilket designvalg gjør reglene for tilbakerulling pålitelige?
Oppsummering
Gode kriterier for tilbakerulling bruker tydelige terskler over et rimelig tidsvindu med nok trafikk, sammenligner med champion, varsler et menneske og ruller raskt tilbake. ✅
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Definer kriterier for automatisk tilbakeføring» gratis?
Ja – hele teksten i «Definer kriterier for automatisk tilbakeføring» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av MLOps Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i MLOps Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Definer kriterier for automatisk tilbakeføring»?
Gå tilbake når feil eller latenstid overskrider en sikkerhetsgrense. Du øver på MLOps Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med MLOps Academy?
Ingen tidligere erfaring er nødvendig. MLOps Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 3 av 4.
Hvor lang tid tar leksjonen «Definer kriterier for automatisk tilbakeføring»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne MLOps Academy-leksjonen?
Ja. Alle MLOps Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Canary-distribusjoner: Send først til noen få
- Speil trafikk uten å påvirke brukerne
- Definer kriterier for automatisk tilbakeføring
- Progressiv utrulling med Argo Rollouts