Dropout: eliminare neuroni casualmente
Introduca ridondanza per favorire la generalizzazione
Dropout: eliminare neuroni casualmente è una lezione Deep Learning Academy gratuita su CoddyKit. Questa è la lezione 2 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Deep Learning Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Deep Learning Academy include 4 lezioni in totale.
Cosa fa il dropout
Il dropout disattiva casualmente alcuni neuroni durante ogni passaggio di training, così la rete non può dipendere troppo da una singola unità. 🎲
Perché le disattivazioni casuali aiutano
Disattivando casualmente alcuni neuroni, il dropout costringe la rete a creare percorsi ridondanti, distribuendo la conoscenza e migliorando la generalizzazione.
Il tasso di dropout
Il tasso di dropout p è la probabilità che ogni neurone venga disattivato. Un valore come 0.5 significa che a ogni passaggio viene silenziata all’incirca metà delle unità.
Aggiungetelo in PyTorch
Potete aggiungere il dropout con un solo layer. Inserite nn.Dropout tra i layer lineari per regolarizzare le attivazioni che li attraversano.
self.drop = nn.Dropout(p=0.5)
x = self.drop(torch.relu(self.fc1(x)))Le disattivazioni cambiano a ogni passaggio
Ogni forward pass disattiva un insieme casuale diverso di neuroni, quindi il modello addestra di fatto un enorme ensemble di reti più piccole.
Il ridimensionamento mantiene l’equilibrio
Per mantenere stabile il segnale medio, durante il training PyTorch ridimensiona le attivazioni sopravvissute, così le uscite al momento del test restano bilanciate.
Disattivatelo durante la valutazione
Il dropout deve essere disabilitato durante la valutazione. La chiamata model.eval() lo disattiva, permettendo a ogni neurone di contribuire alla predizione.
model.eval()
with torch.no_grad():
preds = model(x_val)Scegliere il tasso
I tassi più comuni sono compresi tra 0.2 e 0.5. Valori più alti aumentano la regolarizzazione, ma se eccessivi possono privare la rete di un segnale sufficiente.
Dove inserirlo
Applicate il dropout ai layer nascosti ampi, dove l’overfitting è più problematico. Raramente lo si applica subito prima dell’output finale.
Dropout e CNN
Per le feature convoluzionali, il dropout standard è meno efficace. Molte reti per la computer vision preferiscono Dropout2d oppure si affidano alla batch norm.
Uno strumento economico e potente
Il dropout non aggiunge parametri e ha un costo quasi nullo, ma è comunque uno dei metodi più affidabili per ridurre il divario train/val.
Verifica rapida
Riflettete su cosa dovrebbe fare il dropout quando valutate il modello.
Riepilogo
Avete conosciuto il dropout: il silenziamento casuale dei neuroni durante il training per imporre la ridondanza, seguito dalla sua disattivazione in fase di valutazione per ottenere predizioni complete e stabili. ✅
Domande Frequenti
La lezione «Dropout: eliminare neuroni casualmente» è gratuita?
Sì — il testo completo di «Dropout: eliminare neuroni casualmente» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Deep Learning Academy, passa a CoddyKit PRO. Il corso Deep Learning Academy include 4 lezioni in totale.
Cosa imparerò in «Dropout: eliminare neuroni casualmente»?
Introduca ridondanza per favorire la generalizzazione Eserciti Deep Learning Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Deep Learning Academy?
Non è richiesta alcuna esperienza precedente. Deep Learning Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 2 di 4.
Quanto tempo richiede la lezione «Dropout: eliminare neuroni casualmente»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Deep Learning Academy?
Sì. Ogni lezione Deep Learning Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Leggere il divario tra training e validation
- Dropout: eliminare neuroni casualmente
- Batch norm e layer norm
- Data augmentation come dati gratuiti