Ein winziges Netz von Hand backpropagieren
Berechnen Sie Gradienten auf Papier und bestätigen Sie sie im Code.
Ein winziges Netz von Hand backpropagieren ist eine kostenlose Deep Learning Academy-Lektion auf CoddyKit. Dies ist Lektion 3 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Deep Learning Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Unser kleines Netz
Verfolgen wir das kleinste Netz von Hand: eine Eingabe x, ein Gewicht w, kein Bias. Die Ausgabe ist einfach y = w mal x. Klein genug, um es auf Papier zu berechnen.
y = w * xEinen einfachen Loss hinzufügen
Wir vergleichen die Ausgabe mit einem Zielwert t anhand des quadratischen Fehlers. Dieser Loss bestraft große Abweichungen vom Zielwert und lässt sich leicht von Hand ableiten.
loss = (y - t) ** 2Vorwärtslauf mit Zahlen
Setzen wir x = 2, w = 3 und t = 10 ein. Der Vorwärtslauf ergibt y = 6 und loss = (6 - 10) zum Quadrat = 16. Nun gehen wir rückwärts, um dloss/dw zu bestimmen.
Schritt eins: Vom Loss zur Ausgabe
Erstes Glied: Wie verändert sich der Loss mit y? Die Ableitung von (y - t) zum Quadrat ist 2(y - t), hier also 2 mal (6 - 10) = -8.
dloss_dy = 2 * (y - t)Schritt zwei: Von der Ausgabe zum Gewicht
Zweites Glied: Wie verändert sich y mit w? Da y = w mal x ist, entspricht dy/dw einfach x, in unserem Beispiel also 2.
dy_dw = xDie beiden Glieder verketten
Die Kettenregel multipliziert die Glieder: dloss/dw = dloss/dy mal dy/dw = -8 mal 2 = -16. Diese eine Zahl ist unser Gradient.
dloss_dw = dloss_dy * dy_dwDas Vorzeichen des Gradienten lesen
Ein negativer Gradient bedeutet, dass eine Erhöhung von w den Loss senken würde. Wir sollten w also erhöhen, um beim nächsten Mal ein besseres Ergebnis zu erzielen.
Einen Aktualisierungsschritt ausführen
Bei einer Lernrate von 0.1 lautet die Aktualisierung: w = w - 0.1 mal (-16) = 3 + 1.6 = 4.6. Das Gewicht hat sich einem besseren Wert angenähert.
w = w - lr * dloss_dwBestätigen, dass es besser wurde
Wiederholen wir den Vorwärtslauf mit w = 4.6: y = 9.2 und loss = (9.2 - 10) zum Quadrat = 0.64. Das liegt deutlich unter 16, der Schritt hat also tatsächlich geholfen.
In PyTorch überprüfen
PyTorch erhält automatisch denselben Gradienten. Setzen Sie für w requires_grad, führen Sie den Vorwärtslauf aus, rufen Sie backward auf und lesen Sie w.grad, um -16 zu sehen.
w = torch.tensor(3.0, requires_grad=True)
loss = (w * 2 - 10) ** 2
loss.backward()
print(w.grad)Dieselben Schritte, größere Netze
Ein Netz mit einer Million Gewichten macht genau dasselbe, nur mit mehr miteinander verketteten Gliedern. Die von Hand ausgeführte Mathematik lässt sich direkt auf größere Netze übertragen.
Schnelltest
Überprüfen wir Ihre Rechnung von Hand.
Zusammenfassung
Sie haben ein kleines Netz nachvollzogen: den Vorwärtslauf für die Werte, anschließend den Rückwärtslauf mit der Multiplikation lokaler Ableitungen für den Gradienten und schließlich einen Schritt, der den Loss gesenkt hat. ✏️
Häufig gestellte Fragen
Ist die Lektion „Ein winziges Netz von Hand backpropagieren“ kostenlos?
Ja — der vollständige Text von „Ein winziges Netz von Hand backpropagieren“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Deep Learning Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Ein winziges Netz von Hand backpropagieren“?
Berechnen Sie Gradienten auf Papier und bestätigen Sie sie im Code. Du übst Deep Learning Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Deep Learning Academy zu starten?
Keine Vorkenntnisse erforderlich. Deep Learning Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 3 von 4.
Wie lange dauert die Lektion „Ein winziges Netz von Hand backpropagieren“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Deep Learning Academy-Lektion Code schreiben und ausführen?
Ja. Jede Deep Learning Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Die Kettenregel, Schicht für Schicht
- Forward speichert, Backward verwendet wieder
- Ein winziges Netz von Hand backpropagieren
- Verschwindende und explodierende Gradienten