Oppdag data- og modelldrift
Oppdag når verden endrer seg under deg
Oppdag data- og modelldrift er en gratis leksjon i Deep Learning Academy på CoddyKit. Dette er leksjon 3 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i Deep Learning Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Verden fortsetter å endre seg
Modellen din lærte mønstre fra gårsdagen, men virkelige data fortsetter å endre seg. Når dataene endrer seg, blir prediksjonene gradvis dårligere uten at det nødvendigvis merkes. Vi kaller dette problemet drift. 🌊
To typer drift
Det finnes to typer du bør følge med på. Datadrift betyr at inndataene endrer form, mens konseptdrift betyr at forholdet mellom inndata og etiketter endrer seg.
Et konkret eksempel
Et spamfilter som er trent på gamle e-poster, møter nye triks det aldri har sett før. Inndataene har endret seg, så den tidligere gode nøyaktigheten forringes gradvis i produksjon.
Følg med på inndatasfordelingen
Det første signalet på drift finner du i egenskapene. Sammenlign fordelingen av nylige inndata med treningsdataene, og se etter endringer i formen.
ref_mean = X_train.mean(axis=0)
live_mean = X_live.mean(axis=0)Mål avstanden
For å tallfeste hvor mye to fordelinger avviker fra hverandre kan du bruke en statistisk test som KS, Kolmogorov-Smirnov-testen, som returnerer et tall og en p-verdi.
from scipy.stats import ks_2samp
stat, p = ks_2samp(X_train[:,0], X_live[:,0])Angi en terskel
En liten p-verdi betyr at dataene i produksjon ikke lenger samsvarer med treningsdataene. Velg en terskel, og utløs et varsel hver gang avstanden overskrider den.
if p < 0.05:
print("drift detected")Følg også med på prediksjonene
Selv uten etiketter gir spredningen i modellens resultater et hint. Et plutselig skifte i predikerte sannsynligheter signaliserer ofte innkommende drift.
Det beste signalet er sannheten
Når de faktiske etikettene til slutt blir tilgjengelige, sammenligner du dem med tidligere prediksjoner. Fallende nøyaktighet i produksjon er det tydeligste og mest direkte beviset på at drift skaper problemer.
Verktøy som følger med for deg
Du trenger ikke å bygge alt manuelt. Biblioteker som Evidently beregner driftrapporter for alle egenskapene og markerer kolonnene som har endret seg.
from evidently.report import ReportOvervåk kontinuerlig
Drift er ikke noe du bare sjekker én gang. Kjør disse sammenligningene etter en fast plan, slik at overvåkingen oppdager langsomme endringer lenge før brukerne klager.
Påvisning er halve jobben
Når du oppdager drift tidlig, kan du handle før skaden sprer seg. Det naturlige neste steget er å trene modellen på nytt med ferske data og gjenopprette forspranget.
Hurtigsjekk
Hva beskriver konseptdrift spesifikt?
Oppsummering
Du har lært å oppdage drift: sammenligne inndata fra produksjon med treningsdata, måle avstanden med tester, følge med på prediksjonene og overvåke etter en fast plan. 🎉
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Oppdag data- og modelldrift» gratis?
Ja – hele teksten i «Oppdag data- og modelldrift» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av Deep Learning Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Oppdag data- og modelldrift»?
Oppdag når verden endrer seg under deg Du øver på Deep Learning Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med Deep Learning Academy?
Ingen tidligere erfaring er nødvendig. Deep Learning Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 3 av 4.
Hvor lang tid tar leksjonen «Oppdag data- og modelldrift»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne Deep Learning Academy-leksjonen?
Ja. Alle Deep Learning Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Følg eksperimenter med Weights & Biases
- Versjoner data og modeller
- Oppdag data- og modelldrift
- Automatiser pipeline-er for ny trening