Verschwindende und explodierende Gradienten
Was tiefe Netze beeinträchtigt und welche frühen Lösungen es gibt.
Verschwindende und explodierende Gradienten ist eine kostenlose Deep Learning Academy-Lektion auf CoddyKit. Dies ist Lektion 4 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Deep Learning Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Teile dieser Lektion wurden noch nicht übersetzt und werden auf Englisch angezeigt.
Gradients Are a Product
Through many layers, backprop multiplies many local derivatives together. The size of that long product decides whether learning works or breaks.
Multiplying Small Numbers
If each link's derivative is below one, the product shrinks fast. After many layers the gradient becomes tiny, almost zero by the time it reaches early layers.
That Is Vanishing Gradients
When gradients shrink to near zero, early layers barely update and stop learning. This is the vanishing gradient problem that long stalled deep nets.
Multiplying Big Numbers
If each derivative is above one, the product blows up instead. Gradients grow huge as they travel back, and the weights lurch wildly.
That Is Exploding Gradients
Runaway gradients are the exploding gradient problem. Loss often jumps to NaN as updates overshoot far past any useful value. 💥
Sigmoid Made It Worse
Sigmoid and tanh squash inputs, so their derivatives stay well below one. Stacking them multiplied small numbers and made vanishing gradients common.
ReLU to the Rescue
ReLU has a derivative of exactly one for positive inputs, so it does not shrink the gradient. Switching to ReLU was a key early fix.
relu_grad = 1.0 if x > 0 else 0.0Careful Weight Initialization
Smart schemes like Xavier and He initialization scale starting weights so the gradient product stays near one across many layers.
Clip Exploding Gradients
For explosions, gradient clipping caps the gradient's size before the update, keeping a single huge step from wrecking the model.
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)Skip Connections Help
ResNet adds skip connections that let gradients flow straight back, sidestepping the long chain of multiplications that causes vanishing.
Why It All Matters
Keeping the gradient product near one is what lets very deep nets train at all. Every fix here exists to protect that balance.
Quick Check
Let's check the failure modes.
Recap
Long products of derivatives can vanish or explode. ReLU, careful init, clipping, and skip connections keep gradients healthy through deep nets. 💥
Häufig gestellte Fragen
Ist die Lektion „Verschwindende und explodierende Gradienten“ kostenlos?
Ja — der vollständige Text von „Verschwindende und explodierende Gradienten“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Deep Learning Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Verschwindende und explodierende Gradienten“?
Was tiefe Netze beeinträchtigt und welche frühen Lösungen es gibt. Du übst Deep Learning Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Deep Learning Academy zu starten?
Keine Vorkenntnisse erforderlich. Deep Learning Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 4 von 4.
Wie lange dauert die Lektion „Verschwindende und explodierende Gradienten“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Deep Learning Academy-Lektion Code schreiben und ausführen?
Ja. Jede Deep Learning Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Die Kettenregel, Schicht für Schicht
- Forward speichert, Backward verwendet wieder
- Ein winziges Netz von Hand backpropagieren
- Verschwindende und explodierende Gradienten