Lernratenpläne und Warmup
Strategien mit Steps, Cosine und Warmup.
Lernratenpläne und Warmup ist eine kostenlose Deep Learning Academy-Lektion auf CoddyKit. Dies ist Lektion 4 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Deep Learning Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Teile dieser Lektion wurden noch nicht übersetzt und werden auf Englisch angezeigt.
A Rate That Changes
One fixed learning rate is rarely ideal for the whole run. A schedule changes it over time, usually large early and small near the end.
Why Decay Helps
Big early steps cover ground fast. Shrinking the rate later lets the model settle precisely into a minimum instead of bouncing around it.
Step Decay
The simplest schedule is step decay: drop the rate by a fixed factor every set number of epochs, like halving it every thirty epochs.
sched = torch.optim.lr_scheduler.StepLR(opt, step_size=30, gamma=0.5)Cosine Annealing
Cosine schedules glide the rate down a smooth curve toward zero. The gentle, gradual decay is a favorite for training modern networks.
sched = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=100)The Cold-Start Problem
Fresh weights are fragile. A full-size rate on step one can blow up the loss, especially with large batches or deep transformers.
Warmup Eases In
Warmup ramps the rate up from near zero over the first few hundred steps. This gentle start keeps early training stable before full speed.
Warmup Then Decay
The classic recipe is warmup followed by decay: climb to the peak rate, then ride a cosine curve down. It is the go-to for big models.
Step the Scheduler
A scheduler does nothing until you call step() on it, usually once per epoch right after the optimizer updates the weights.
opt.step()
sched.step()Watch the Current Rate
Log the live learning rate while you train. Seeing it warm up and decay confirms the schedule fires when expected and helps you debug.
print(sched.get_last_lr())Plateau-Based Decay
Prefer reacting to results? ReduceLROnPlateau drops the rate only when validation loss stops improving, no fixed timetable needed.
sched = torch.optim.lr_scheduler.ReduceLROnPlateau(opt)Schedules Are Free Wins
A good schedule often boosts final accuracy with zero extra data. Warmup plus cosine decay is a strong, safe default to start from.
Quick Check
Confirm what warmup is for.
Recap
A schedule shrinks the learning rate over time so the model settles cleanly, while warmup ramps it up first for stable starts. Warmup plus cosine is a great default. 📉
Häufig gestellte Fragen
Ist die Lektion „Lernratenpläne und Warmup“ kostenlos?
Ja — der vollständige Text von „Lernratenpläne und Warmup“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Deep Learning Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Lernratenpläne und Warmup“?
Strategien mit Steps, Cosine und Warmup. Du übst Deep Learning Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Deep Learning Academy zu starten?
Keine Vorkenntnisse erforderlich. Deep Learning Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 4 von 4.
Wie lange dauert die Lektion „Lernratenpläne und Warmup“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Deep Learning Academy-Lektion Code schreiben und ausführen?
Ja. Jede Deep Learning Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- SGD mit Momentum
- Adam und AdamW erklärt
- Weight Decay vs. L2-Regularisierung
- Lernratenpläne und Warmup