Dropout : supprimer des neurones aléatoirement
Imposez la redondance pour améliorer la généralisation.
Dropout : supprimer des neurones aléatoirement est une leçon Deep Learning Academy gratuite sur CoddyKit. Ceci est la leçon 2 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Deep Learning Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Deep Learning Academy comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
What Dropout Does
Dropout randomly turns off some neurons during each training step, so the network cannot lean on any single unit too heavily. 🎲
Why Random Drops Help
By dropping neurons at random, dropout forces the network to build redundant paths, which spreads knowledge and improves generalization.
The Dropout Rate
The dropout rate p is the chance each neuron is dropped. A value like 0.5 means roughly half the units are silenced each step.
Add It in PyTorch
You add dropout with one layer. Place nn.Dropout between linear layers to regularize the activations flowing through.
self.drop = nn.Dropout(p=0.5)
x = self.drop(torch.relu(self.fc1(x)))Drops Change Every Step
Each forward pass drops a different random set of neurons, so the model effectively trains a huge ensemble of thinner networks.
Scaling Keeps It Fair
To keep the average signal steady, PyTorch scales the surviving activations up during training, so test-time outputs stay balanced.
Turn It Off at Eval
Dropout must be disabled during evaluation. Calling model.eval() switches it off so every neuron contributes to the prediction.
model.eval()
with torch.no_grad():
preds = model(x_val)Choosing a Rate
Common rates sit between 0.2 and 0.5. Higher values regularize more but can starve the network of signal if pushed too far.
Where to Place It
Put dropout on wide hidden layers where overfitting bites hardest. It is rarely applied right before the final output.
Dropout and CNNs
For convolutional features, plain dropout helps less. Many vision nets prefer Dropout2d or rely on batch norm instead.
A Cheap, Strong Tool
Dropout adds no extra parameters and costs almost nothing, yet it is one of the most reliable ways to shrink the train/val gap.
Quick Check
Think about what dropout should do when you evaluate the model.
Recap
You met dropout: randomly silencing neurons in training to force redundancy, then turning it off at eval for full, stable predictions. ✅
Questions Fréquemment Posées
La leçon « Dropout : supprimer des neurones aléatoirement » est-elle gratuite ?
Oui — le texte complet de « Dropout : supprimer des neurones aléatoirement » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Deep Learning Academy, passe à CoddyKit PRO. Le cours Deep Learning Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Dropout : supprimer des neurones aléatoirement » ?
Imposez la redondance pour améliorer la généralisation. Tu pratiques Deep Learning Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Deep Learning Academy ?
Aucune expérience préalable n'est requise. Deep Learning Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 2 sur 4.
Combien de temps prend la leçon « Dropout : supprimer des neurones aléatoirement » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Deep Learning Academy ?
Oui. Chaque leçon Deep Learning Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Interpréter l’écart entraînement-validation
- Dropout : supprimer des neurones aléatoirement
- Normalisation par lots et normalisation par couche
- L’augmentation des données comme données gratuites