Voorgetrainde modellen in torchvision: ResNet, EfficientNet en ViT

Een diep neuraal netwerk vanaf nul trainen op ImageNet vereist miljoenen gelabelde afbeeldingen en weken aan GPU-berekeningen. Vooraf getrainde modellen hebben al algemene visuele kenmerken geleerd — randen, texturen, vormen en onderdelen van objecten op hoog niveau — uit deze enorme gegevensverzameling.

Door deze gewichten opnieuw te gebruiken, profiteer je van wat het model op 1,2 miljoen afbeeldingen heeft geleerd zonder de trainingskosten te betalen. Dit is het kernidee van transfer learning: kenmerken die voor één grote taak zijn geleerd, kunnen goed worden overgedragen naar verwante, kleinere taken. torchvision.models biedt tientallen vooraf getrainde architecturen die je kunt downloaden en gebruiken.

ResNet-50 (Residual Network met 50 lagen) introduceerde skip connections die de invoer van een blok rechtstreeks bij de uitvoer optellen: output = F(x) + x. Hierdoor kunnen gradiënten rechtstreeks door de optelling stromen, zodat zeer diepe netwerken kunnen worden getraind zonder verdwijnende gradiënten.

ResNet-50 heeft ongeveer 25 miljoen parameters en bestaat uit: één initiële convolutionele laag van 7×7, max pooling, vier residuele blokken (layer1–layer4) en een globale gemiddelde-poolinglaag, gevolgd door een volledig verbonden classificatiekop met 1000 klassen voor ImageNet. De laatste fc-laag is de laag die we vervangen voor aangepaste taken.

Voordat je inferentie uitvoert, moeten de invoergegevens overeenkomen met de voorbewerking die tijdens het trainen op ImageNet is gebruikt: pas het formaat aan tot minimaal 224×224 en normaliseer met het gemiddelde en de standaardafwijking van ImageNet. De API torchvision.transforms handelt dit af. Roep vóór inferentie altijd model.eval() aan om dropout en de trainingsmodus van batchnormalisatie uit te schakelen.

Het model produceert 1000 logits, één per ImageNet-klasse. We passen softmax toe om waarschijnlijkheden te verkrijgen en kiezen de top-k-klassen. torchvision.models bevat nu categorienamen in de metagegevens van de gewichten, zodat een afzonderlijk labelbestand niet meer nodig is.

EfficientNet (2019) introduceerde samengestelde schaling: de breedte, diepte en invoerresolutie van een netwerk systematisch tegelijk schalen met één samengestelde coëfficiënt. In plaats van netwerken willekeurig breder of dieper te maken, brengt EfficientNet alle drie de dimensies in balans voor een optimale afweging tussen nauwkeurigheid en efficiëntie.

De EfficientNet-familie loopt van efficientnet_b0 (5 miljoen parameters) tot efficientnet_b7 (66 miljoen parameters). EfficientNet-B0 behaalt een vergelijkbare nauwkeurigheid als ResNet-50 met acht keer minder parameters en zes keer minder FLOP's, waardoor het ideaal is voor implementatie op mobiele apparaten en edge-apparaten. PyTorch biedt alle acht varianten.

Vision Transformers (ViT) (2020) passen de transformerarchitectuur rechtstreeks toe op afbeeldingen, zonder convoluties. De afbeelding wordt opgesplitst in een raster van patches met een vaste grootte (bijvoorbeeld 16×16 pixels), die elk worden afgevlakt en geprojecteerd naar een embeddingvector. Deze patch-embeddings worden behandeld als woordtokens in NLP.

Een CLS-token (classificatietoken) wordt vóór de patchsequentie geplaatst. Nadat de sequentie meerdere transformer-encoderblokken met zelfaandacht heeft doorlopen, wordt de uitvoer van het CLS-token voor classificatie gebruikt. ViT vereist grote trainingsgegevensverzamelingen om CNN's te overtreffen, maar vooraf getrainde ViT-modellen uit torchvision maken deze kracht direct beschikbaar voor je taken.

Welke van deze architecturen je kiest, hangt af van je beperkingen en taak. ResNet-50 is de betrouwbare standaardkeuze: goed begrepen, een sterke basislijn en veel handleidingen en implementaties. EfficientNet-B0/B2 is de beste keuze wanneer inferentiesnelheid en modelgrootte belangrijk zijn — bijvoorbeeld voor mobiele apps, realtime-systemen of edgehardware.

ViT blinkt uit bij grootschalige taken en profiteert van zelfbegeleid vooraf trainen (DINO, CLIP). Het vereist meer rekenkracht en geheugen dan CNN's met een vergelijkbare nauwkeurigheid. Begin voor de meeste aangepaste afbeeldingsclassificatietaken met EfficientNet-B2 of ResNet-50 en probeer daarna ViT als je de middelen hebt om het fijn af te stemmen.

Voordat je een vooraf getraind model voor je taak aanpast, bekijk je de architectuur om te begrijpen welke lagen je moet vervangen. Gebruik print(model) om de lagenstructuur te bekijken en named_modules() of named_children() om programmatisch te itereren.

Het belangrijkste inzicht: elk torchvision-model eindigt met een classificatiekop die is afgestemd op 1000 ImageNet-klassen. Om het model aan te passen aan je taak met een num_classes die verschilt van 1000, vervang je deze laatste laag. De kenmerkextractor (alles vóór de kop) behoudt de in ImageNet geleerde kenmerken.

Wanneer je de classificatiekop vervangt, moet je de kenmerkdimensie kennen die door de backbone wordt geproduceerd (alles behalve de laatste laag). Deze dimensie is de invoergrootte van je nieuwe classificatiekop.

Veelvoorkomende uitvoerdimensies van backbones: ResNet-50 produceert 2048, EfficientNet-B0 produceert 1280 en ViT-B/16 produceert 768. Deze kenmerkvectoren worden berekend door globale gemiddelde-pooling over de ruimtelijke kenmerkkaarten, waardoor één vector per afbeelding ontstaat. Je vervangende kop neemt deze vector als invoer.

Je kunt snel controleren of de gewichten van een vooraf getraind model correct zijn door het model op een bekende controleafbeelding uit te voeren en na te gaan of de beste voorspelling overeenkomt met het verwachte label. Deze sanitycheck bevestigt dat de gewichten correct zijn geladen en dat de voorbewerkingspijplijn juist is.

Controleer daarnaast altijd het verwachte invoerformaat in de metagegevens van de gewichten: invoergrootte (224×224 voor de meeste modellen), kanaalvolgorde (RGB, niet BGR) en normalisatieconstanten (het ImageNet-gemiddelde en de standaardafwijking). De verkeerde normalisatie gebruiken is een veelvoorkomende fout die tot slechte resultaten bij transfer learning leidt.

De gebruikelijke werkwijze voor vooraf getrainde modellen op aangepaste taken is: (1) laad het vooraf getrainde model met weights=...IMAGENET1K..., (2) vervang de laatste classificatiekop door een nieuwe nn.Linear die de juiste grootte heeft voor je aantal klassen, (3) bevries aanvankelijk eventueel de gewichten van de backbone en (4) train met een lagere leersnelheid dan wanneer je vanaf nul zou trainen.

De nieuwe classificatiekop begint met willekeurige gewichten en moet leren van je gegevens. De backbone begint met uitstekende kenmerken en heeft slechts kleine aanpassingen nodig. Daarom verbeteren different 방식e leersnelheden — een zeer lage snelheid voor de backbone en een hogere voor de kop — vaak de convergentiesnelheid en de uiteindelijke nauwkeurigheid.

In deze les heb je geleerd dat ResNet-50 skip connections gebruikt om zeer diepe netwerken te trainen en kenmerken met 2048 dimensies produceert, dat EfficientNet een betere afweging tussen nauwkeurigheid en efficiëntie bereikt door de breedte, diepte en resolutie samengesteld te schalen, en dat ViT transformer-zelfaandacht toepast op afbeeldingspatches zonder convoluties. Hierna leren we kenmerkextractie — de vooraf getrainde backbone bevriezen en alleen een nieuwe classificatiekop trainen op je eigen gegevensverzameling.