Del opp i trening, validering og test
Hvorfor du trenger tre mengder, ikke én
Del opp i trening, validering og test er en gratis leksjon i Deep Learning Academy på CoddyKit. Dette er leksjon 1 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i Deep Learning Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Én bunke er ikke nok
Hvis De trener og vurderer en modell på de samme dataene, lærer De bare at den har memorert radene. For å kunne stole på modellen må De dele dataene inn i separate roller.
Møt treningssettet
Treningssettet er dataene modellen faktisk lærer fra. Vektene justeres om og om igjen for å passe godt til akkurat disse eksemplene.
Møt valideringssettet
Valideringssettet holdes utenfor under treningen og kontrolleres underveis. Det forteller Dem hvordan modellen fungerer på data den aldri har blitt oppdatert på.
Møt testsettet
Testsettet brukes én gang, helt til slutt. Det gir en ærlig, endelig poengsum etter at alle valg allerede er tatt.
Derfor er valideringen separat
De justerer innstillinger som læringsraten ved å følge med på valideringsresultatene. Dermed lekker valideringssettet i det stille inn i valgene Deres, og det kan ikke lenger være en ren sluttdommer.
Testsettet forblir forseglet
Fordi valideringen har styrt beslutningene Deres, trenger De én urørt datamengde som fasit. Hold testsettet forseglet til De er helt ferdig.
En vanlig oppdeling
Et typisk utgangspunkt er omtrent 80/10/10: mesteparten av dataene til trening og mindre deler til validering og test. Juster dette etter hvor mye data De har.
Del med random_split
PyTorch gir Dem random_split for å dele et datasett inn i deler etter størrelse. Den stokker automatisk hvilke eksempler som havner i hvert sett.
from torch.utils.data import random_split
train, val, test = random_split(ds, [800, 100, 100])Bruk seed for reproduserbare delinger
Oppdelingen er tilfeldig, så angi en seed hvis De vil ha de samme delene i hver kjøring. Da blir eksperimenter sammenlignbare på tvers av økter.
g = torch.Generator().manual_seed(42)
train, val, test = random_split(ds, [800, 100, 100], generator=g)Stratifiser for balanse
Med sjeldne klasser kan en vanlig tilfeldig oppdeling utelate noen av dem. Stratifisering sørger for at klassesammensetningen i hvert sett ligner på originalen, slik at resultatene forblir meningsfulle.
Se aldri på testen
Den gylne regelen er enkel: Ikke la testsettet påvirke noen beslutning. I det øyeblikket det skjer, er det endelige tallet ikke lenger til å stole på.
Hurtigsjekk
Hvilket sett bør De bare se på én gang, helt til slutt?
Oppsummering
Tre sett, tre oppgaver: trening lærer opp modellen, validering styrer justeringene Deres, og test gir den endelige, ærlige poengsummen. Hold testsettet forseglet til slutt. 🎯
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Del opp i trening, validering og test» gratis?
Ja – hele teksten i «Del opp i trening, validering og test» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av Deep Learning Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Del opp i trening, validering og test»?
Hvorfor du trenger tre mengder, ikke én Du øver på Deep Learning Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med Deep Learning Academy?
Ingen tidligere erfaring er nødvendig. Deep Learning Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 1 av 4.
Hvor lang tid tar leksjonen «Del opp i trening, validering og test»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne Deep Learning Academy-leksjonen?
Ja. Alle Deep Learning Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Del opp i trening, validering og test
- En epokkesløyfe med validering
- Lagre og last inn med state_dict
- Tidlig stopp basert på valideringstap