Opdel metrikker efter segment og kohorte
Find steder, hvor modellen stille og roligt præsterer dårligere.
Opdel metrikker efter segment og kohorte er en gratis MLOps Academy-lektion på CoddyKit. Dette er lektion 3 af 4. Du kan læse hele lektionen gratis nedenfor — og derefter øve dig praktisk i browseren med en indbygget kodeeditor og en AI-vejleder, der er tilgængelig døgnet rundt. Den er en del af læringsforløbet i MLOps Academy, og dine fremskridt synkroniseres på tværs af nettet og CoddyKit-appen. MLOps Academy-kurset indeholder 4 lektioner i alt.
Gennemsnittet skjuler sandheden
En model med 95 % samlet nøjagtighed kan stadig fejle alvorligt for én gruppe. Gennemsnittet skjuler områder med dårlig ydelse. 🕵️
Hvad et udsnit er
Et udsnit er en delmængde af dine data, der deler et kendetegn: en region, enhedstype, aldersgruppe eller produktkategori.
Segment kontra kohorte
Et segment grupperer efter en egenskabsværdi, f.eks. land. En kohorte grupperer efter en fælles hændelse i tid, f.eks. brugere, der tilmeldte sig sidste marts.
Beregn målinger pr. udsnit
I stedet for ét nøjagtighedstal beregner du målingen pr. udsnit og sammenligner. Et pandas groupby bringer dig hurtigt i mål.
logs.groupby("country").apply(
lambda g: accuracy_score(g.label, g.pred)
)Find et svagt udsnit
Når ét udsnit scorer langt lavere end resten, har du fundet et svagt punkt, som den overordnede måling stille dækkede over.
Hold øje med meget små udsnit
Et udsnit med meget få eksempler giver en støjfyldt måling. Angiv en minimumsstørrelse, før du stoler på tallet.
Udsnit afslører skævhed
Når du sammenligner udsnit på tværs af følsomme grupper, bliver retfærdighedsforskelle synlige, f.eks. når én demografisk gruppe konsekvent får dårligere forudsigelser.
Hold også øje med drift pr. udsnit
Drift kan først ramme ét udsnit. Ved at følge drift pr. segment opdager du en ændring blandt mobilbrugere, før den spreder sig overalt.
Automatisér søgningen
Manuel kontrol af udsnit skalerer ikke. Værktøjer til udsnitsfinding gennemgår mange delmængder og markerer de dårligst præsterende for dig.
Kohorter over tid
Hvis du følger en kohorte i flere uger, kan du se, om modellen bliver dårligere for nyere brugere, efterhånden som deres adfærd afviger fra de gamles.
Fra indsigt til handling
Et dårligt udsnit peger på en løsning: indsamle flere data, tilføje en egenskab eller træne en segmentspecifik model til gruppen.
Hurtigt tjek
Vælg den egentlige grund til at opdele dine målinger i udsnit.
Opsummering
Opdel målinger efter segment og kohorte for at finde skjulte svage punkter, forskelle i retfærdighed og tidlig drift, som gennemsnittet ville skjule. ✅
Lær Python med en AI-underviser — gratis
Skriv og kør rigtig kode i din browser, få øjeblikkelig hjælp fra en AI-underviser døgnet rundt, og fortsæt, hvor du slap, på web eller i appen.
- Kurser
- 30
- Lektioner
- 120
Ofte stillede spørgsmål
Er lektionen “Opdel metrikker efter segment og kohorte” gratis?
Ja — hele teksten til “Opdel metrikker efter segment og kohorte” kan læses gratis her på nettet. Hvis du vil øve dig interaktivt med en indbygget kodeeditor og en AI-vejleder døgnet rundt og få adgang til resten af MLOps Academy-kurset, skal du opgradere til CoddyKit PRO. MLOps Academy-kurset indeholder 4 lektioner i alt.
Hvad lærer jeg i “Opdel metrikker efter segment og kohorte”?
Find steder, hvor modellen stille og roligt præsterer dårligere. Du øver dig i MLOps Academy med praktisk kode, som du kører direkte i browseren, og en AI-vejleder døgnet rundt besvarer dine spørgsmål, mens du arbejder dig gennem lektionen.
Skal jeg have erfaring for at begynde på MLOps Academy?
Der kræves ingen tidligere erfaring. MLOps Academy på CoddyKit er tilrettelagt for både begyndere og øvede, så du kan starte her eller fra begyndelsen og lære i dit eget tempo. Dette er lektion 3 af 4.
Hvor lang tid tager lektionen “Opdel metrikker efter segment og kohorte”?
De fleste CoddyKit-lektioner tager cirka 5–10 minutter. Hver lektion er kort og interaktiv, så du gør løbende fremskridt og kan fortsætte, hvor du slap – på både web og app.
Kan jeg skrive og køre kode i denne MLOps Academy-lektion?
Ja. Alle MLOps Academy-lektioner har en indbygget kodeeditor, så du kan skrive og køre rigtig kode direkte i din browser og få øjeblikkelig feedback fra AI – uden lokal opsætning.
Alle lektioner i dette kursus
- De fire søjler i ML-observabilitet
- Log forudsigelser til senere analyse
- Opdel metrikker efter segment og kohorte
- Forklar forudsigelser med SHAP