Dropout-regularisering for at forhindre overfitting

Dropout, som blev introduceret af Srivastava m.fl. i 2014, er en regulariseringsteknik, der tilfældigt sætter en andel af neuronernes aktiveringer til nul under hvert træningstrin. Ved at tvinge netværket til at fungere med et tilfældigt udvalg af neuroner forhindrer det, at en enkelt neuron bliver for specialiseret, og tvinger netværket til at lære redundante repræsentationer. Det reducerer overtilpasning markant i store fuldt forbundne netværk.

PyTorch implementerer inverteret Dropout: under træningen bliver de aktiveringer, der overlever, skaleret op med 1/(1-p) for at kompensere for de neuroner, der er sat til nul. Det betyder, at den forventede sum af aktiveringer forbliver den samme uanset dropout-raten. Fordelen er, at du under inferens deaktiverer Dropout og bruger netværket, som det er — du behøver ikke skalere output. Derfor er Dropout i eval-tilstand blot en identitetsfunktion.

Dropout-lag placeres typisk efter aktiveringsfunktioner i fuldt forbundne netværk eller efter pooling i CNN'er. Almindelige dropout-sandsynligheder er p=0.5 for store skjulte lag og p=0.2-0.3 for mindre lag eller CNN'er. Dropout anvendes normalt ikke på inputlaget eller det endelige outputlag. Eksemplet nedenfor viser en dyb MLP med Dropout mellem skjulte lag.

At glemme at skifte mellem trænings- og evalueringstilstand er en af de mest almindelige fejl, som er svære at fejlsøge. I træningstilstand (model.train()) sætter Dropout tilfældigt aktiveringer til nul. I eval-tilstand (model.eval()) er Dropout helt deaktiveret, og alle neuroner er aktive. Hvis du ikke kalder model.eval() før evalueringen, bliver valideringstabet kunstigt højere og ikke-deterministisk, hvilket gør det umuligt at sammenligne kørsler pålideligt.

For at se Dropouts regulariseringseffekt kan du sammenligne kurverne for trænings- og valideringstab med og uden Dropout. Uden Dropout vil et stort netværk typisk vise det klassiske mønster for overtilpasning: træningstabet er tæt på nul, mens valideringstabet forbliver højt. Med Dropout følger de to kurver hinanden tættere. Forskellen mellem trænings- og valideringsnøjagtigheden (det såkaldte generaliseringsgab) er den vigtigste måling, som Dropout reducerer.

Dropout-sandsynligheden p er en hyperparameter, som du skal justere. p=0.5 er standardværdien fra den oprindelige Dropout-artikel og fungerer godt for meget store lag. For konvolutionelle lag er p=0.1 til 0.25 typisk, fordi spatiale egenskaber er mere strukturerede. For Transformers er p=0.1 standard. Hvis din model ikke overtilpasser, skal du reducere p eller fjerne Dropout. Hvis den overtilpasser kraftigt, skal du øge p gradvist og overvåge valideringsresultatet.

En avanceret anvendelse af Dropout er MC Dropout til estimering af usikkerhed. I stedet for at deaktivere Dropout under inferens lader du det være aktiveret og kører modellen N gange på det samme input. Middelværdien af de N forudsigelser er estimatet; variansen på tværs af forudsigelserne måler modellens usikkerhed. Det tilnærmer bayesiansk inferens uden et fuldt bayesiansk neuralt netværk. Det bruges i sikkerhedskritiske anvendelser som medicinsk diagnosticering, hvor det er værdifuldt at vide, hvornår modellen ikke ved det.

nn.Dropout2d (Spatial Dropout) sætter hele kanaler til nul i stedet for individuelle aktiveringer i konvolutionelle feature maps. Det er mere effektivt til CNN'er, fordi tilstødende pixels i den samme kanal er stærkt korrelerede — det har kun ringe effekt at fjerne individuelle pixels. Ved at fjerne hele kanaler kan netværket ikke stole på et enkelt filter, men må fordele informationen på mange kanaler. Brug Dropout2d efter Conv2d-lag i stedet for almindelig Dropout.

Dropout og vægtnedskalering (L2-regularisering) er komplementære regulariseringsteknikker — brug dem sammen. Dropout forhindrer samtilpasning mellem neuroner, mens vægtnedskalering straffer store vægte og trækker alle parametre mod nul. Kombinationen er stærkere end hver teknik for sig. I AdamW anvendes vægtnedskalering korrekt som et separat led og blandes ikke ind i gradientopdateringen som i Adam. De fleste modeller i produktion bruger begge teknikker.

Brug grafen over trænings- og valideringstab til at afgøre, om du har brug for mere regularisering. At valideringstabet stiger, mens træningstabet falder, er det typiske tegn på overtilpasning. Øg systematisk dropout-sandsynligheden, eller tilføj Dropout-lag, hvor de mangler. Andre tegn på alvorlig overtilpasning er blandt andet en træningsnøjagtighed på over 98 %, mens valideringsnøjagtigheden stagnerer på 70-80 %, eller meget stor variation i valideringsmålingerne på tværs af forskellige tilfældige frø.

Sådan bruger du Dropout korrekt: tilføj nn.Dropout(p) efter aktiveringerne i de skjulte lag; kald model.train() under træningen for at aktivere det og model.eval() under evalueringen for at deaktivere det; start med p=0.5 for store fuldt forbundne lag, og reducer værdien, hvis modellen undertilpasser. Kombiner med vægtnedskalering via AdamW for at opnå de bedste resultater. Følg altid både trænings- og valideringsmålinger for at bekræfte, at Dropout faktisk hjælper — nogle gange gør det konvergensen langsommere uden at forbedre generaliseringen, når modellen allerede er tilstrækkeligt regulariseret.

I denne lektion lærte du: Dropout sætter tilfældigt neuronaktiveringer til nul under træning for at forhindre ko-adaptation og reducere overtilpasning, inverteret dropout skalerer overlevende værdier med 1/(1-p), så inferens ikke kræver nogen justering, og model.eval() deaktiverer Dropout for deterministisk og korrekt inferens. Nu ser vi nærmere på strategier til vægtinitialisering, som forhindrer forsvindende og eksploderende gradienter i dybe netværk.