Fine-tuning: lagen vrijgeven en lage learning rates

Kenmerkextractie past alleen de classificatiekop aan en laat het basisnetwerk vastgezet. Fijn afstellen gaat verder door ook enkele of alle lagen van het basisnetwerk bij te werken, zodat het model zijn representaties kan aanpassen aan jouw specifieke gegevensverdeling.

Fijn afstellen is vooral nuttig wanneer je domein afwijkt van ImageNet — bijvoorbeeld bij satellietbeelden, medische scans of foto's van industriële defecten. De kenmerken van ImageNet worden gedeeltelijk overgedragen, maar door ze aan te passen kan de nauwkeurigheid meetbaar verbeteren. Het risico is catastrofaal vergeten: als je met een hoge leersnelheid fijn afstelt, overschrijven de nieuwe gegevens de zorgvuldig vooraf geleerde kenmerken, waardoor de prestaties instorten.

De standaardaanpak voor fijn afstellen bestaat uit twee fasen. Fase 1: Zet het basisnetwerk volledig vast en train alleen de nieuwe classificatiekop gedurende enkele epoches, totdat deze convergeert. Zo begint de kop vanuit een redelijke toestand voordat gradiënten van het basisnetwerk worden toegevoegd.

Fase 2: Geef alle of enkele lagen van het basisnetwerk vrij en ga door met trainen met een zeer lage leersnelheid (doorgaans 10–100× lager dan in fase 1). Zo stuur je de vooraf geleerde kenmerken voorzichtig in de richting van je domein zonder ze te vernietigen. Fase 1 overslaan en vanaf het begin fijn afstellen met een hoge LR is de meest voorkomende fout die tot slechte resultaten leidt.

In plaats van het volledige basisnetwerk in één keer vrij te geven, kun je dit laag voor laag doen, vanaf de bovenkant (het dichtst bij de uitvoer). Latere lagen bevatten namelijk de meest taakspecifieke kenmerken, terwijl vroege lagen universele kenmerken leren (randen en texturen) die zelden moeten worden bijgewerkt.

Voor ResNet-50 is de gebruikelijke volgorde voor selectief vrijgeven: (1) fc (al trainbaar), (2) layer4, (3) layer3 en ten slotte (4) layer1 en layer2 als dat nodig is. Na elke stap moet je evalueren of het extra vrijgeven de validatienauwkeurigheid verbetert, omdat meer trainbare parameters het risico op overfitting bij kleine datasets vergroten.

Different####iële leersnelheden wijzen verschillende leersnelheden toe aan verschillende delen van het netwerk. De nieuwe kop wordt getraind met de hoogste snelheid (1e-3), recent vrijgegeven lagen van het basisnetwerk met een gematigde snelheid (1e-4) en vroege lagen van het basisnetwerk met de laagste snelheid (1e-5 of helemaal vastgezet).

De optimiser van PyTorch accepteert een lijst met parametergroepen, elk met een eigen lr. Dit is de standaardtechniek in de literatuur over transfer learning en wordt gebruikt in de differentiële leersnelheden van fast.ai. Het idee is dat delen van het netwerk met algemenere kenmerken minder aanpassingen nodig hebben dan taakspecifieke lagen.

Catastrofaal vergeten treedt op wanneer fijn afstellen met een grote leersnelheid de vooraf geleerde kenmerken overschrijft, waardoor de validatienauwkeurigheid zelfs onder de basiswaarde van kenmerkextractie daalt. Je ziet dit als een scherpe piek in het trainingsverlies vroeg in fase 2, gevolgd door langzaam herstel.

Doe het volgende om dit te voorkomen: (1) begin fase 2 altijd met een zeer lage leersnelheid, (2) controleer de validatienauwkeurigheid na elke epoche en stop onmiddellijk als deze onder het beste resultaat van fase 1 daalt, (3) gebruik een planner voor de leersnelheid die de leersnelheid van het basisnetwerk geleidelijk opwarmt en (4) sla tijdens fase 1 het beste modelcontrolepunt op, zodat je dit kunt herstellen als fase 2 mislukt.

Een vaste leersnelheid is tijdens het volledige proces van fijn afstellen zelden optimaal. Planners voor de leersnelheid passen de LR tijdens het trainen aan om de convergentie te verbeteren. Voor fijn afstellen werken twee planners bijzonder goed: CosineAnnealingLR verlaagt de LR volgens een cosinuscurve geleidelijk van de beginwaarde naar bijna nul, en ReduceLROnPlateau verlaagt de LR telkens wanneer de validatiemetriek niet meer verbetert.

ReduceLROnPlateau met patience=2 is een veilige standaardinstelling: als het validatieverlies gedurende 2 opeenvolgende epoches niet verbetert, wordt de LR vermenigvuldigd met factor=0.1. Dit herstelt vaak de voortgang wanneer het trainen stagneert.

Fijn afstellen met een grotere batchgrootte vermindert ruis in de gradiënten. Dat is gunstig wanneer je kleine aanpassingen maakt aan vooraf geleerde kenmerken. Zeer grote batches kunnen echter de generalisatie verslechteren bij fijn afstellen (het probleem van de 'scherpe minima'). Een batchgrootte van 32–64 is een goed startpunt.

Voeg gewichtverval (L2-regularisatie) toe aan de optimiser: optim.Adam(model.parameters(), lr=1e-4, weight_decay=1e-4). Gewichtverval voorkomt dat één gewicht te groot wordt. Dit is vooral belangrijk bij fijn afstellen, omdat de vooraf getrainde gewichten al verstandige grootten hebben die we niet te sterk willen verstoren.

Gegevensaugmentatie past bij elke epoche willekeurige transformaties toe op trainingsafbeeldingen, waardoor de dataset effectief groter wordt. Dit is vooral belangrijk tijdens fijn afstellen wanneer je weinig afbeeldingen per klasse hebt. Veelgebruikte augmentaties voor natuurlijke afbeeldingen zijn: willekeurig horizontaal spiegelen, willekeurig roteren (±15°), willekeurig bijsnijden en kleurvariatie (helderheid, contrast en verzadiging).

Pas augmentatie alleen tijdens het trainen toe, niet tijdens validatie of inferentie. Gebruik voor de validatieset een aparte transformatie die alleen deterministische voorbewerking toepast (verkleinen, uitsnede vanuit het midden en normaliseren). Met transforms.Compose van PyTorch kun je dit eenvoudig beheren.

Hoeveel verbetering levert fine-tuning op ten opzichte van feature-extractie? Op een typische aangepaste dataset met ongeveer 1000 afbeeldingen per klasse kan feature-extractie een nauwkeurigheid van 88% opleveren, terwijl fine-tuning 92–95% bereikt. De verbetering hangt sterk af van hoe verschillend je gegevens zijn van ImageNet.

Houd deze vier getallen bij om te begrijpen wat er gebeurt: validatienauwkeurigheid in fase 1 (de basiswaarde voor feature-extractie), aanvankelijke validatienauwkeurigheid in fase 2 (mag bij een juiste LR niet lager zijn dan die van fase 1), beste validatienauwkeurigheid in fase 2 (het voordeel van fine-tuning) en toetsnauwkeurigheid (het eindresultaat, slechts één keer aan het einde gerapporteerd om lekken van de toetsset te voorkomen).

Voor fine-tuning van ViT-modellen (Vision Transformer) is iets meer zorgvuldigheid nodig dan bij CNN's. ViT-modellen bevatten Layer Normalisation in plaats van Batch Normalisation. De modi model.eval() en model.train() beïnvloeden daardoor voornamelijk dropout en niet de normalisatiestatistieken. Dit maakt fine-tuning iets eenvoudiger.

ViT-modellen profiteren tijdens fine-tuning ook van een lagere maximale learning rate (1e-5 tot 5e-5 tegenover 1e-4 voor CNN's), omdat de attentiongewichten gevoelig zijn voor grote updates. De optimizer AdamW heeft sterk de voorkeur voor fine-tuning van ViT-modellen. Met zorgvuldige fine-tuning kan ViT-B/16 de CNN-basiswaarden bij veel taken overtreffen.

In deze les heb je geleerd dat fine-tuning in twee fasen eerst de head traint (met een bevroren backbone) en daarna de backbone ontdooit met een zeer lage learning rate om catastrofaal vergeten te voorkomen, dat differentieel learning-rategebruik hogere learning rates toewijst aan de head en lagere learning rates aan diepere lagen van de backbone, en dat selectief ontdooien vanaf de bovenste lagen naar beneden de beste balans tussen nauwkeurigheid en efficiëntie oplevert. Hierna passen we deze technieken toe op een echte uitdaging in medische beeldvorming met weinig gelabelde gegevens.