Diskriminative Lernraten je Schicht
Trainieren Sie tiefe und flache Schichten unterschiedlich.
Diskriminative Lernraten je Schicht ist eine kostenlose Deep Learning Academy-Lektion auf CoddyKit. Dies ist Lektion 3 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Deep Learning Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Teile dieser Lektion wurden noch nicht übersetzt und werden auf Englisch angezeigt.
One Rate for All?
So far every layer shared a single learning rate. But early and late layers learn very different things. Maybe they deserve different rates. 🎚️
Early Layers Are General
The early layers of a pretrained net detect edges, colors, and textures. These features transfer to almost any task, so they barely need changing.
Late Layers Are Specific
The later layers capture task-specific patterns. These are the ones that should adapt most to your new dataset.
The Big Idea
Discriminative fine-tuning gives deep layers a tiny learning rate and shallow output layers a larger one. Each part learns at the right speed.
Group the Parameters
To use different rates, you split the model into parameter groups, each with its own settings.
backbone_params = model.features.parameters()
head_params = model.classifier.parameters()Per-Group Learning Rates
PyTorch optimizers accept a list of dicts, one per group, each carrying its own lr. The backbone gets a small one, the head a bigger one.
opt = torch.optim.Adam([
{'params': backbone_params, 'lr': 1e-5},
{'params': head_params, 'lr': 1e-3}])Why It Helps
This protects the precious general features while letting the head adapt quickly. You often get higher accuracy than a single shared rate.
Slanted Across Many Layers
You can scale rates smoothly: each deeper block gets a slightly smaller rate. This gradient of speeds is sometimes called a slanted schedule.
Gradual Unfreezing
A partner technique is gradual unfreezing: unfreeze the top layer first, train, then unfreeze the next, working downward over epochs.
Inspect Your Groups
You can read back each group's settings from the optimizer to confirm every param_group got the rate you intended.
for g in opt.param_groups:
print(g['lr'])When to Reach for It
Discriminative rates pay off most on deep networks where the gap between general and specific layers is large.
Quick Check
In discriminative fine-tuning, which layers should get the smallest learning rate?
Recap
You gave deep layers small rates and the head a larger one using parameter groups, optionally with gradual unfreezing, for sharper transfer learning. 🎯
Häufig gestellte Fragen
Ist die Lektion „Diskriminative Lernraten je Schicht“ kostenlos?
Ja — der vollständige Text von „Diskriminative Lernraten je Schicht“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Deep Learning Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Diskriminative Lernraten je Schicht“?
Trainieren Sie tiefe und flache Schichten unterschiedlich. Du übst Deep Learning Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Deep Learning Academy zu starten?
Keine Vorkenntnisse erforderlich. Deep Learning Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 3 von 4.
Wie lange dauert die Lektion „Diskriminative Lernraten je Schicht“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Deep Learning Academy-Lektion Code schreiben und ausführen?
Ja. Jede Deep Learning Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Backbone einfrieren, Head trainieren
- Mit einer niedrigeren Lernrate fine-tunen
- Diskriminative Lernraten je Schicht
- Ein Hugging-Face-Modell fine-tunen