Fine-tunen met een lagere learning rate
Werk voorgetrainde gewichten voorzichtig bij.
Fine-tunen met een lagere learning rate is een gratis Deep Learning Academy-les op CoddyKit. Dit is les 2 van 4. Je kunt de volledige les hieronder gratis lezen en daarna in de browser praktisch oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is. Deze les maakt deel uit van het leertraject Deep Learning Academy. Je voortgang wordt gesynchroniseerd op het web en in de CoddyKit-app. De cursus Deep Learning Academy bevat in totaal 4 lessen.
Verder dan alleen de kop
Het basisnetwerk bevriezen is snel, maar soms wil je dat het hele model zich aanpast. Bij fijn afstemmen maak je het weer trainbaar en train je alles samen. 🔧
Het basisnetwerk ontdooien
Om fijn af te stemmen, zet je requires_grad weer op True, zodat de voorgetrainde gewichten tijdens het trainen opnieuw kunnen veranderen.
for p in model.parameters():
p.requires_grad = TrueHet gevaar van een grote stap
Die voorgetrainde gewichten zijn al uitstekend. Een grote leersnelheid zou ze met ruisachtige updates overschrijven en vernietigen wat ze hebben geleerd.
Doe het rustig aan
De oplossing is een lagere leersnelheid. Kleine stappen duwen de voorgetrainde gewichten in de richting van jouw taak zonder hun kennis uit te wissen.
opt = torch.optim.Adam(model.parameters(), lr=1e-5)Hoeveel lager?
Een veelgebruikte vuistregel: gebruik een leersnelheid die tien tot honderd keer kleiner is dan wanneer je vanaf nul zou trainen.
Train eerst de kop op
Een populaire truc: train alleen de kop gedurende enkele tijdperken en maak daarna het basisnetwerk weer trainbaar om het fijn af te stemmen. Zo voorkom je in het begin een schok voor het basisnetwerk.
Houd het validatieverlies in de gaten
Bij fijn afstemmen kan een kleine gegevensverzameling snel overfitten. Houd het validatieverlies in de gaten en stop zodra het begint te stijgen.
Minder tijdperken nodig
Omdat het model de gegevens al begrijpt, convergeert fijn afstemmen meestal al na enkele tijdperken, niet pas na tientallen.
Combineer het met een schema
Een leersnelheidsschema kan de leersnelheid na verloop van tijd verder verlagen, zodat het model rustig naar een goede oplossing convergeert.
sched = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=5)Volledig fijn afstemmen versus bevroren trainen
Volledig fijn afstemmen vereist meer gegevens en rekenkracht, maar bereikt een hogere nauwkeurigheid. Bevroren trainen is goedkoper. De afweging hangt af van de grootte van je gegevensverzameling.
Het beste controlepunt bewaren
Omdat het model bij fijn afstemmen kan afdrijven, moet je het model opslaan telkens wanneer de validatienauwkeurigheid verbetert. Zo raak je nooit je beste versie kwijt.
Korte controle
Je hebt een voorgetraind model ontdooid om het fijn af te stemmen. Welke leersnelheid moet je gebruiken?
Samenvatting
Je hebt het basisnetwerk ontdooid, het met een lage leersnelheid fijn afgestemd, eerst de kop opgewarmd en de validatie gevolgd om overfitting te stoppen. 🎯
Leer Python met een AI-tutor — gratis
Schrijf echte code en voer die uit in je browser, krijg direct hulp van een AI-tutor die 24/7 beschikbaar is en ga verder waar je gebleven bent op het web of in de app.
- Cursussen
- 30
- Lessen
- 120
Veelgestelde vragen
Is de les “Fine-tunen met een lagere learning rate” gratis?
Ja — de volledige tekst van “Fine-tunen met een lagere learning rate” kun je hier gratis op het web lezen. Als je interactief wilt oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is, en de rest van de cursus Deep Learning Academy wilt ontgrendelen, kun je upgraden naar CoddyKit PRO. De cursus Deep Learning Academy bevat in totaal 4 lessen.
Wat leer ik in “Fine-tunen met een lagere learning rate”?
Werk voorgetrainde gewichten voorzichtig bij. Je oefent met Deep Learning Academy door code rechtstreeks in de browser uit te voeren. Een AI-begeleider die 24/7 beschikbaar is beantwoordt je vragen terwijl je de les doorwerkt.
Heb ik ervaring nodig om met Deep Learning Academy te beginnen?
Ervaring vooraf is niet nodig. Deep Learning Academy op CoddyKit is opgebouwd voor beginners tot gevorderden, zodat je hier of bij het begin kunt starten en in je eigen tempo kunt leren. Dit is les 2 van 4.
Hoe lang duurt de les “Fine-tunen met een lagere learning rate”?
De meeste lessen van CoddyKit duren ongeveer 5–10 minuten. Elke les is kort en interactief, zodat je gestaag vooruitgaat en op het web en in de app precies verdergaat waar je was gebleven.
Kan ik code schrijven en uitvoeren in deze les over Deep Learning Academy?
Ja. Elke les over Deep Learning Academy bevat een ingebouwde code-editor, zodat je rechtstreeks in je browser echte code kunt schrijven en uitvoeren en direct feedback van AI krijgt — lokale installatie is niet nodig.
Alle lessen in deze cursus
- De backbone bevriezen en de head trainen
- Fine-tunen met een lagere learning rate
- Discriminatieve learning rates per laag
- Een Hugging Face-model fine-tunen