Forward speichert, Backward verwendet wieder
Warum Aktivierungen während des Forward-Passes gespeichert werden.
Forward speichert, Backward verwendet wieder ist eine kostenlose Deep Learning Academy-Lektion auf CoddyKit. Dies ist Lektion 2 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Deep Learning Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Teile dieser Lektion wurden noch nicht übersetzt und werden auf Englisch angezeigt.
Two Passes, One Goal
Training each batch runs two passes: a forward pass to predict and compute loss, then a backward pass to compute gradients. They work as a pair.
The Forward Pass Computes Values
Going forward, each layer turns its input into an output and sends it onward. By the end you have a prediction and a single loss number.
Backward Needs Forward Values
To compute a layer's gradient, the chain rule needs the very activations that layer produced going forward. Those values are not optional.
So We Cache Them
During the forward pass the network quietly caches each layer's inputs and outputs in memory, ready for the backward pass to grab. 💾
A Concrete Example
The derivative of a layer often reuses its own output. For a sigmoid, the gradient depends on the saved output value, so caching it saves recomputation.
sigmoid_grad = saved_output * (1 - saved_output)Backward Reuses the Cache
The backward pass walks layers in reverse, and at each one it pulls the matching cached values to multiply into the gradient. Nothing is recomputed.
Cache Costs Memory
Storing every activation is why training a deep net uses far more memory than just running it for predictions. Bigger nets need bigger caches.
Inference Skips the Cache
When you only need predictions, there is no backward pass, so PyTorch skips the cache entirely. That is why inference is lighter on memory.
with torch.no_grad():
preds = model(x)PyTorch Does This for You
Every operation on a tensor with requires_grad records what it needs into the computation graph, building the cache automatically as you go.
One Backward Frees It
By default, calling backward() consumes the cached graph and frees it. That is why a second backward() on the same graph raises an error.
loss.backward()Why This Design Wins
Caching forward values means each gradient is one cheap lookup-and-multiply instead of a fresh recomputation, making backprop fast and exact.
Quick Check
Let's check the cache idea.
Recap
The forward pass caches activations, and the backward pass reuses them to build gradients. That trade of memory for speed is what makes backprop practical. 💾
Häufig gestellte Fragen
Ist die Lektion „Forward speichert, Backward verwendet wieder“ kostenlos?
Ja — der vollständige Text von „Forward speichert, Backward verwendet wieder“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Deep Learning Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Forward speichert, Backward verwendet wieder“?
Warum Aktivierungen während des Forward-Passes gespeichert werden. Du übst Deep Learning Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Deep Learning Academy zu starten?
Keine Vorkenntnisse erforderlich. Deep Learning Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 2 von 4.
Wie lange dauert die Lektion „Forward speichert, Backward verwendet wieder“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Deep Learning Academy-Lektion Code schreiben und ausführen?
Ja. Jede Deep Learning Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Die Kettenregel, Schicht für Schicht
- Forward speichert, Backward verwendet wieder
- Ein winziges Netz von Hand backpropagieren
- Verschwindende und explodierende Gradienten