Læringsrate: For stor, for liten eller akkurat passe
Den viktigste innstillingen av alle
Læringsrate: For stor, for liten eller akkurat passe er en gratis leksjon i Deep Learning Academy på CoddyKit. Dette er leksjon 3 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i Deep Learning Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Størrelsen på steget
Gradienten forteller deg hvilken vei du skal gå, men hvor langt? Læringsraten er multiplikatoren som bestemmer hvor stort hvert steg nedover skal være.
w = w - lr * gradÉn kraftig innstilling
Læringsraten er ofte den viktigste enkeltinnstillingen under trening. Velger du den feil, vil selv en perfekt modell mislykkes med å lære.
lr = 0.01For liten: sneglefart
En bitteliten læringsrate gir forsiktige museskritt. Tapet synker, men så sakte at treningen trekker ut i det uendelige eller stopper før den når dalen. 🐢
For stor: går for langt
En enorm læringsrate gjør at du hopper så langt at du passerer dalen og lander høyere oppe på den andre siden. Tapet spretter rundt eller skyter mot uendelig.
Varseltegnet for divergens
Hvis tapet øker eller blir til NaN etter noen få steg, er læringsraten nesten alltid for stor. Det er det tydeligste signalet på at den bør reduseres.
Akkurat passe: jevn nedstigning
En god læringsrate får tapet til å synke jevnt og raskt uten store svingninger. Kurven glir nedover og flater ut nær bunnen.
Fornuftige startverdier
Man gjetter sjelden helt i blinde. En vanlig startverdi for læringsraten er rundt 0,001 til 0,01. Deretter justerer du basert på hvordan tapskurven oppfører seg.
lr = 1e-3Følg med på tapskurven
Å tegne tapet over tid er den beste veiledningen. En kurve som divergerer, sier at du bør gå lavere; en flat kurve som knapt beveger seg, sier at du kan gå litt høyere.
Den samspiller med batchstørrelsen
Riktig læringsrate avhenger av andre valg, som batchstørrelse og optimizer. Endrer du ett av dem, kan det hende du må justere raten på nytt.
Planer endrer den over tid
Du kan også redusere læringsraten etter hvert som treningen fortsetter: Ta store steg tidlig, og deretter små, forsiktige steg nær bunnen for en god avslutning.
Justering er normalt
Det finnes ingen universelt beste verdi, så det er en normal og forventet del av modelltreningen å prøve flere læringsrater og sammenligne kurvene.
Rask sjekk
Hva skjer når læringsraten er for stor?
Oppsummering
Læringsraten bestemmer stegstørrelsen: For liten gir sneglefart, for stor gjør at du går for langt og divergerer, mens en passe rate gir en jevn nedstigning. Følg med på tapskurven og juster den. 🎯
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Læringsrate: For stor, for liten eller akkurat passe» gratis?
Ja – hele teksten i «Læringsrate: For stor, for liten eller akkurat passe» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av Deep Learning Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Læringsrate: For stor, for liten eller akkurat passe»?
Den viktigste innstillingen av alle Du øver på Deep Learning Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med Deep Learning Academy?
Ingen tidligere erfaring er nødvendig. Deep Learning Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 3 av 4.
Hvor lang tid tar leksjonen «Læringsrate: For stor, for liten eller akkurat passe»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne Deep Learning Academy-leksjonen?
Ja. Alle Deep Learning Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Tap som et landskap å bevege seg nedover i
- Gradienter peker oppover – ta derfor steget motsatt vei
- Læringsrate: For stor, for liten eller akkurat passe
- Minimer en funksjon for hånd i Python