Dropout: Fjern neuroner tilfældigt
Tving modellen til redundans for bedre generalisering.
Dropout: Fjern neuroner tilfældigt er en gratis Deep Learning Academy-lektion på CoddyKit. Dette er lektion 2 af 4. Du kan læse hele lektionen gratis nedenfor — og derefter øve dig praktisk i browseren med en indbygget kodeeditor og en AI-vejleder, der er tilgængelig døgnet rundt. Den er en del af læringsforløbet i Deep Learning Academy, og dine fremskridt synkroniseres på tværs af nettet og CoddyKit-appen. Deep Learning Academy-kurset indeholder 4 lektioner i alt.
Hvad Dropout gør
Dropout slår tilfældigt nogle neuroner fra under hvert træningstrin, så netværket ikke kan læne sig for meget op ad en enkelt enhed. 🎲
Hvorfor tilfældige fraslag hjælper
Ved at slå neuroner fra tilfældigt tvinger dropout netværket til at opbygge redundante veje, hvilket spreder viden og forbedrer generaliseringen.
Dropout-raten
Dropout-raten p er sandsynligheden for, at hver neuron bliver slået fra. En værdi som 0.5 betyder, at omtrent halvdelen af enhederne er slået fra ved hvert trin.
Tilføj det i PyTorch
Du tilføjer dropout med ét lag. Placér nn.Dropout mellem lineære lag for at regularisere de aktiveringer, der strømmer igennem.
self.drop = nn.Dropout(p=0.5)
x = self.drop(torch.relu(self.fc1(x)))Fraslagene ændres ved hvert trin
Hvert fremadgående gennemløb slår et forskelligt tilfældigt sæt neuroner fra, så modellen i praksis træner et enormt ensemble af tyndere netværk.
Skalering holder det balanceret
For at holde det gennemsnitlige signal stabilt skalerer PyTorch de aktiveringer, der stadig er aktive, op under træningen, så outputtet ved testtid forbliver afbalanceret.
Slå det fra ved evaluering
Dropout skal være deaktiveret under evaluering. Kald model.eval() for at slå det fra, så alle neuroner bidrager til forudsigelsen.
model.eval()
with torch.no_grad():
preds = model(x_val)Vælg en rate
Almindelige rater ligger mellem 0.2 og 0.5. Højere værdier regulariserer mere, men kan fratage netværket signal, hvis de bliver for høje.
Hvor skal det placeres
Placér dropout på brede skjulte lag, hvor overtilpasningen er værst. Det anvendes sjældent lige før det endelige output.
Dropout og CNN'er
For konvolutionelle egenskaber hjælper almindelig dropout mindre. Mange synsnetværk foretrækker Dropout2d eller bruger batchnormalisering i stedet.
Et billigt og stærkt værktøj
Dropout tilføjer ingen ekstra parametre og koster næsten ingenting, men er alligevel en af de mest pålidelige måder at formindske trænings-/valideringsmellemrummet på.
Hurtigt tjek
Tænk over, hvad dropout bør gøre, når du evaluerer modellen.
Opsummering
Du har mødt dropout: tilfældig deaktivering af neuroner under træningen for at fremtvinge redundans, hvorefter det slås fra ved evaluering for at få fuldstændige og stabile forudsigelser. ✅
Lær Python med en AI-underviser — gratis
Skriv og kør rigtig kode i din browser, få øjeblikkelig hjælp fra en AI-underviser døgnet rundt, og fortsæt, hvor du slap, på web eller i appen.
- Kurser
- 30
- Lektioner
- 120
Ofte stillede spørgsmål
Er lektionen “Dropout: Fjern neuroner tilfældigt” gratis?
Ja — hele teksten til “Dropout: Fjern neuroner tilfældigt” kan læses gratis her på nettet. Hvis du vil øve dig interaktivt med en indbygget kodeeditor og en AI-vejleder døgnet rundt og få adgang til resten af Deep Learning Academy-kurset, skal du opgradere til CoddyKit PRO. Deep Learning Academy-kurset indeholder 4 lektioner i alt.
Hvad lærer jeg i “Dropout: Fjern neuroner tilfældigt”?
Tving modellen til redundans for bedre generalisering. Du øver dig i Deep Learning Academy med praktisk kode, som du kører direkte i browseren, og en AI-vejleder døgnet rundt besvarer dine spørgsmål, mens du arbejder dig gennem lektionen.
Skal jeg have erfaring for at begynde på Deep Learning Academy?
Der kræves ingen tidligere erfaring. Deep Learning Academy på CoddyKit er tilrettelagt for både begyndere og øvede, så du kan starte her eller fra begyndelsen og lære i dit eget tempo. Dette er lektion 2 af 4.
Hvor lang tid tager lektionen “Dropout: Fjern neuroner tilfældigt”?
De fleste CoddyKit-lektioner tager cirka 5–10 minutter. Hver lektion er kort og interaktiv, så du gør løbende fremskridt og kan fortsætte, hvor du slap – på både web og app.
Kan jeg skrive og køre kode i denne Deep Learning Academy-lektion?
Ja. Alle Deep Learning Academy-lektioner har en indbygget kodeeditor, så du kan skrive og køre rigtig kode direkte i din browser og få øjeblikkelig feedback fra AI – uden lokal opsætning.
Alle lektioner i dette kursus
- Læs forskellen mellem train og val
- Dropout: Fjern neuroner tilfældigt
- Batch norm og layer norm
- Dataaugmentation som gratis data