Gradienter peker oppover – ta derfor steget motsatt vei
Bruk stigningen til å forbedre vektene
Gradienter peker oppover – ta derfor steget motsatt vei er en gratis leksjon i Deep Learning Academy på CoddyKit. Dette er leksjon 2 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i Deep Learning Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Les helningen
For å gå nedover må du først vite hvilken vei som er ned. Gradienten er verktøyet som forteller deg helningen til tapet der du befinner deg.
Gradienten peker oppover
Her er overraskelsen: Gradienten peker i retningen der tapet øker raskest. Den viser den bratteste veien opp, ikke ned.
Ta derfor steget den andre veien
Siden gradienten peker oppover, beveger du deg i motsatt retning for å gå ned. Når du trekker fra gradienten, beveger du deg mot et lavere tap.
w = w - gradOppdateringsregelen
Denne ene linjen er selve kjernen i treningen. Du skalerer gradienten med en liten stegstørrelse og trekker den deretter fra hver vekt. Gjenta, så synker tapet.
w = w - lr * gradGradienten er en vektor
Med mange vekter er gradienten en hel vektor: én helning per vekt. Hver vekt justeres med sin egen del av denne vektoren.
Størrelsen viser hvor bratt det er
En stor gradientverdi betyr at tapet er svært bratt i den retningen, så denne vekten trenger en større korrigering. Små verdier betyr at det nesten er flatt der.
Der gradienten er null
Helt på bunnen av en dal blir helningen flat, og gradienten blir null. Når det ikke er noe å trekke fra, slutter vektene å bevege seg. Du har konvergert.
Ett steg om gangen
Du når nesten aldri bunnen i ett eneste hopp. Hvert steg forbedrer resultatet bare litt, så nedstigningen består av en lang rekke små bevegelser nedover.
Følg den negative gradienten
Banen du følger når du alltid beveger deg langs den negative gradienten, er ruten for bratteste nedstigning. Det er en snarvei mot et lavere tap.
step = -gradHvorfor subtraksjon fungerer
Subtraksjon beveger deg mot økningen, så tapet må synke når steget er lite nok. Denne enkle fortegnsvendingen gjør en helning om til fremgang.
På vei mot automatiske gradienter
Du kommer sjelden til å beregne disse helningene for hånd. PyTorchs autograd finner gradienten for deg, men regelen er den samme: Trekk den fra for å gå nedover.
Rask sjekk
Hvilken retning peker gradienten i?
Oppsummering
Gradienten peker oppover mot et høyere tap, så du trekker fra en skalert versjon av den for å ta et steg nedover. Gjenta oppdateringen, så beveger modellen seg mot dalen. ⬇️
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Gradienter peker oppover – ta derfor steget motsatt vei» gratis?
Ja – hele teksten i «Gradienter peker oppover – ta derfor steget motsatt vei» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av Deep Learning Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Gradienter peker oppover – ta derfor steget motsatt vei»?
Bruk stigningen til å forbedre vektene Du øver på Deep Learning Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med Deep Learning Academy?
Ingen tidligere erfaring er nødvendig. Deep Learning Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 2 av 4.
Hvor lang tid tar leksjonen «Gradienter peker oppover – ta derfor steget motsatt vei»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne Deep Learning Academy-leksjonen?
Ja. Alle Deep Learning Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Tap som et landskap å bevege seg nedover i
- Gradienter peker oppover – ta derfor steget motsatt vei
- Læringsrate: For stor, for liten eller akkurat passe
- Minimer en funksjon for hånd i Python