Dropout-regularisatie om overfitting te voorkomen

Dropout, geïntroduceerd door Srivastava et al. in 2014, is een regularisatietechniek die tijdens elke trainingsstap willekeurig een deel van de activaties van neuronen op nul zet. Doordat het netwerk met een willekeurige subset van neuronen moet werken, voorkomt Dropout dat één neuron te gespecialiseerd raakt en wordt het netwerk gedwongen redundante representaties te leren. Dit vermindert overfitting aanzienlijk in grote volledig verbonden netwerken.

PyTorch implementeert inverted dropout: tijdens het trainen worden overgebleven activaties opgeschaald met 1/(1-p) om de neuronen die op nul zijn gezet te compenseren. Hierdoor blijft de verwachte som van de activaties hetzelfde, ongeacht het dropoutpercentage. Het voordeel is dat je tijdens inferentie Dropout uitschakelt en het netwerk ongewijzigd gebruikt — je hoeft de uitvoer niet te schalen. Daarom is Dropout in de eval-modus gewoon een identiteitsfunctie.

Dropout-lagen worden in volledig verbonden netwerken meestal na activatiefuncties geplaatst, of na pooling in CNN's. Veelgebruikte dropoutkansen zijn p=0.5 voor grote verborgen lagen en p=0.2-0.3 voor kleinere lagen of CNN's. Dropout wordt meestal niet toegepast op de invoerlaag of de uiteindelijke uitvoerlaag. Het onderstaande voorbeeld toont een diep MLP met Dropout tussen verborgen lagen.

Vergeten om te wisselen tussen de trainings- en evaluatiemodus is een van de meest voorkomende en lastigst te debuggen fouten. In de trainingsmodus (model.train()) zet Dropout activaties willekeurig op nul. In de eval-modus (model.eval()) is Dropout volledig uitgeschakeld en zijn alle neuronen actief. Als je vóór de evaluatie model.eval() niet aanroept, zal de validatieloss kunstmatig hoger en niet-deterministisch zijn, waardoor je runs niet betrouwbaar kunt vergelijken.

Vergelijk de trainings- en validatielosscurves met en zonder Dropout om het regularisatie-effect ervan te zien. Zonder Dropout vertoont een groot netwerk meestal het klassieke patroon van overfitting: de trainingsloss is bijna nul, terwijl de validatieloss hoog blijft. Met Dropout volgen beide curves elkaar nauwer. Het verschil tussen de trainings- en validatienauwkeurigheid (de generalisatiekloof) is de belangrijkste maatstaf die Dropout verkleint.

De dropoutkans p is een hyperparameter die je moet afstemmen. p=0.5 is de oorspronkelijke standaardwaarde uit het Dropout-artikel en werkt goed voor zeer grote lagen. Voor convolutionele lagen is p=0.1 tot 0.25 gebruikelijk, omdat ruimtelijke kenmerken meer structuur hebben. Voor Transformers is p=0.1 standaard. Als je model niet overfit, verlaag je p of verwijder je Dropout. Als het sterk overfit, verhoog je p stapsgewijs en houd je de validatieprestaties in de gaten.

Een geavanceerde toepassing van Dropout is MC Dropout voor het schatten van onzekerheid. In plaats van Dropout tijdens inferentie uit te schakelen, houd je het ingeschakeld en voer je het model N keer uit met dezelfde invoer. Het gemiddelde van de N voorspellingen is de schatting; de variantie tussen de voorspellingen meet de onzekerheid van het model. Dit benadert Bayesiaanse inferentie zonder een volledig Bayesiaans neuraal netwerk. De methode wordt gebruikt in veiligheidskritische toepassingen, zoals medische diagnoses, waar het waardevol is om te weten wanneer een model iets niet weet.

nn.Dropout2d (Spatial Dropout) zet volledige kanalen op nul in plaats van afzonderlijke activaties in convolutionele kenmerkkaarten. Dit is effectiever voor CNN's, omdat aangrenzende pixels in hetzelfde kanaal sterk gecorreleerd zijn — afzonderlijke pixels verwijderen heeft weinig effect. Door volledige kanalen te verwijderen, kan het netwerk niet op één filter vertrouwen en moet het informatie over veel kanalen verdelen. Gebruik Dropout2d na Conv2d-lagen in plaats van gewone Dropout.

Dropout en weight decay (L2-regularisatie) zijn complementaire regularisatoren — gebruik ze samen. Dropout voorkomt co-adaptatie tussen neuronen; weight decay bestraft grote gewichten en trekt alle parameters naar nul. De combinatie is sterker dan elk van beide afzonderlijk. In AdamW wordt weight decay correct toegepast als een afzonderlijke term, in plaats van te worden vermengd met de gradiëntupdate zoals bij Adam. De meeste modellen die in productie worden gebruikt, passen beide technieken toe.

Gebruik de grafiek van de trainings- en validatieloss om vast te stellen of je meer regularisatie nodig hebt. Een stijgende validatieloss terwijl de trainingsloss daalt is kenmerkend voor overfitting. Verhoog de dropoutkans systematisch of voeg Dropout-lagen toe waar die ontbreken. Andere signalen van ernstige overfitting zijn een trainingsnauwkeurigheid van 98% of hoger terwijl de validatienauwkeurigheid blijft steken op 70-80%, of een zeer hoge variatie in validatiemaatstaven tussen verschillende willekeurige seeds.

Gebruik Dropout als volgt: voeg nn.Dropout(p) toe na activaties van verborgen lagen; roep tijdens het trainen model.train() aan om Dropout in te schakelen en tijdens de evaluatie model.eval() om het uit te schakelen; begin met p=0.5 voor grote volledig verbonden lagen en verlaag dit als het model underfit. Combineer Dropout met weight decay via AdamW voor de beste resultaten. Houd altijd zowel trainings- als validatiemaatstaven bij om te controleren of Dropout echt helpt — soms vertraagt het de convergentie zonder de generalisatie te verbeteren wanneer het model al goed geregulariseerd is.

In deze les heb je geleerd: Dropout zet neuronactivaties tijdens het trainen willekeurig op nul om co-adaptatie te voorkomen en overfitting te verminderen, inverted dropout schaalt overblijvende waarden met 1/(1-p), zodat er tijdens inferentie geen aanpassing nodig is, en model.eval() schakelt Dropout uit voor deterministische en correcte inferentie. Hierna verkennen we strategieën voor gewichtsinitialisatie die verdwijnende en exploderende gradiënten in diepe netwerken voorkomen.