Learning rate: te groot, te klein, precies goed
De belangrijkste instelknop.
Learning rate: te groot, te klein, precies goed is een gratis Deep Learning Academy-les op CoddyKit. Dit is les 3 van 4. Je kunt de volledige les hieronder gratis lezen en daarna in de browser praktisch oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is. Deze les maakt deel uit van het leertraject Deep Learning Academy. Je voortgang wordt gesynchroniseerd op het web en in de CoddyKit-app. De cursus Deep Learning Academy bevat in totaal 4 lessen.
De grootte van je stap
De gradiënt vertelt je welke kant je op moet, maar hoe ver? De leersnelheid is de vermenigvuldigingsfactor die bepaalt hoe groot elke stap bergafwaarts is.
w = w - lr * gradEén krachtige regelknop
De leersnelheid is vaak de belangrijkste instelling tijdens het trainen. Als je die verkeerd kiest, leert zelfs een perfect model niets.
lr = 0.01Te klein: kruipen
Een kleine leersnelheid zorgt voor voorzichtige stapjes. Het verlies daalt, maar zo langzaam dat het trainen eindeloos duurt of stopt voordat het dal is bereikt. 🐢
Te groot: voorbijschieten
Een enorme leersnelheid maakt zo'n grote sprong dat je over het dal heen gaat en hoger aan de andere kant landt. Het verlies schommelt heen en weer of schiet naar oneindig.
Waarschuwing voor divergentie
Als het verlies na een paar stappen stijgt of in NaN verandert, is je leersnelheid bijna altijd te groot. Dat is het duidelijkste signaal om haar te verlagen.
Precies goed: soepel afdalen
Een goede leersnelheid laat het verlies gestaag en snel dalen zonder wilde schommelingen. De kromme glijdt omlaag en vlakt af in de buurt van de bodem.
Verstandige beginwaarden
Je gokt zelden blind. Een gebruikelijke beginwaarde voor de leersnelheid ligt rond 0,001 tot 0,01; daarna pas je haar aan op basis van het verloop van de verlieskromme.
lr = 1e-3Bekijk de verlieskromme
Het verlies in de tijd uitzetten is je beste leidraad. Een divergerende kromme zegt dat je kleiner moet gaan; een vlakke, nauwelijks bewegende kromme zegt dat je iets groter kunt gaan.
De leersnelheid hangt samen met de batchgrootte
De juiste leersnelheid hangt af van andere keuzes, zoals de batchgrootte en de optimizer. Verander je één daarvan, dan moet je de leersnelheid mogelijk opnieuw afstellen.
Schema's veranderen haar in de loop van de tijd
Je kunt de leersnelheid tijdens het trainen zelfs verlagen: neem vroeg grote passen en zet bij de bodem kleinere, voorzichtige stappen voor een nette afronding.
Afstellen is normaal
Er bestaat geen universele beste waarde. Een paar leersnelheden uitproberen en de krommen vergelijken is een normaal en verwacht onderdeel van het trainen van een model.
Korte controle
Wat gebeurt er bij een te grote leersnelheid?
Samenvatting
De leersnelheid bepaalt de stapgrootte: te klein betekent kruipen, te groot betekent voorbijschieten en divergentie, en precies goed betekent soepel afdalen. Bekijk de verlieskromme en stel haar af. 🎯
Leer Python met een AI-tutor — gratis
Schrijf echte code en voer die uit in je browser, krijg direct hulp van een AI-tutor die 24/7 beschikbaar is en ga verder waar je gebleven bent op het web of in de app.
- Cursussen
- 30
- Lessen
- 120
Veelgestelde vragen
Is de les “Learning rate: te groot, te klein, precies goed” gratis?
Ja — de volledige tekst van “Learning rate: te groot, te klein, precies goed” kun je hier gratis op het web lezen. Als je interactief wilt oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is, en de rest van de cursus Deep Learning Academy wilt ontgrendelen, kun je upgraden naar CoddyKit PRO. De cursus Deep Learning Academy bevat in totaal 4 lessen.
Wat leer ik in “Learning rate: te groot, te klein, precies goed”?
De belangrijkste instelknop. Je oefent met Deep Learning Academy door code rechtstreeks in de browser uit te voeren. Een AI-begeleider die 24/7 beschikbaar is beantwoordt je vragen terwijl je de les doorwerkt.
Heb ik ervaring nodig om met Deep Learning Academy te beginnen?
Ervaring vooraf is niet nodig. Deep Learning Academy op CoddyKit is opgebouwd voor beginners tot gevorderden, zodat je hier of bij het begin kunt starten en in je eigen tempo kunt leren. Dit is les 3 van 4.
Hoe lang duurt de les “Learning rate: te groot, te klein, precies goed”?
De meeste lessen van CoddyKit duren ongeveer 5–10 minuten. Elke les is kort en interactief, zodat je gestaag vooruitgaat en op het web en in de app precies verdergaat waar je was gebleven.
Kan ik code schrijven en uitvoeren in deze les over Deep Learning Academy?
Ja. Elke les over Deep Learning Academy bevat een ingebouwde code-editor, zodat je rechtstreeks in je browser echte code kunt schrijven en uitvoeren en direct feedback van AI krijgt — lokale installatie is niet nodig.
Alle lessen in deze cursus
- Loss als landschap om af te dalen
- Gradiënten wijzen omhoog — zet dus de andere kant op
- Learning rate: te groot, te klein, precies goed
- Een functie met de hand minimaliseren in Python