Taux discriminants selon les couches
Entraînez différemment les couches profondes et superficielles.
Taux discriminants selon les couches est une leçon Deep Learning Academy gratuite sur CoddyKit. Ceci est la leçon 3 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Deep Learning Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Deep Learning Academy comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
One Rate for All?
So far every layer shared a single learning rate. But early and late layers learn very different things. Maybe they deserve different rates. 🎚️
Early Layers Are General
The early layers of a pretrained net detect edges, colors, and textures. These features transfer to almost any task, so they barely need changing.
Late Layers Are Specific
The later layers capture task-specific patterns. These are the ones that should adapt most to your new dataset.
The Big Idea
Discriminative fine-tuning gives deep layers a tiny learning rate and shallow output layers a larger one. Each part learns at the right speed.
Group the Parameters
To use different rates, you split the model into parameter groups, each with its own settings.
backbone_params = model.features.parameters()
head_params = model.classifier.parameters()Per-Group Learning Rates
PyTorch optimizers accept a list of dicts, one per group, each carrying its own lr. The backbone gets a small one, the head a bigger one.
opt = torch.optim.Adam([
{'params': backbone_params, 'lr': 1e-5},
{'params': head_params, 'lr': 1e-3}])Why It Helps
This protects the precious general features while letting the head adapt quickly. You often get higher accuracy than a single shared rate.
Slanted Across Many Layers
You can scale rates smoothly: each deeper block gets a slightly smaller rate. This gradient of speeds is sometimes called a slanted schedule.
Gradual Unfreezing
A partner technique is gradual unfreezing: unfreeze the top layer first, train, then unfreeze the next, working downward over epochs.
Inspect Your Groups
You can read back each group's settings from the optimizer to confirm every param_group got the rate you intended.
for g in opt.param_groups:
print(g['lr'])When to Reach for It
Discriminative rates pay off most on deep networks where the gap between general and specific layers is large.
Quick Check
In discriminative fine-tuning, which layers should get the smallest learning rate?
Recap
You gave deep layers small rates and the head a larger one using parameter groups, optionally with gradual unfreezing, for sharper transfer learning. 🎯
Questions Fréquemment Posées
La leçon « Taux discriminants selon les couches » est-elle gratuite ?
Oui — le texte complet de « Taux discriminants selon les couches » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Deep Learning Academy, passe à CoddyKit PRO. Le cours Deep Learning Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Taux discriminants selon les couches » ?
Entraînez différemment les couches profondes et superficielles. Tu pratiques Deep Learning Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Deep Learning Academy ?
Aucune expérience préalable n'est requise. Deep Learning Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 3 sur 4.
Combien de temps prend la leçon « Taux discriminants selon les couches » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Deep Learning Academy ?
Oui. Chaque leçon Deep Learning Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Geler le socle et entraîner la tête
- Ajuster finement avec un taux d’apprentissage plus faible
- Taux discriminants selon les couches
- Ajuster finement un modèle Hugging Face