Eine Funktion von Hand in Python minimieren

Lassen Sie uns Gradient Descent selbst auf einer einfachen Kurve ausführen. Wir minimieren eine einfache Funktion in reinem Python, bevor wir darauf vertrauen, dass ein Framework dies für uns erledigt.

Wir verwenden eine Parabel mit einer einzigen Senke. Ihr tiefster Punkt liegt bei x gleich 3 – genau dieses Minimum soll unser Code selbstständig finden.

Für diese Kurve ist die Steigung, also der Gradient, zweimal x minus drei. In echten Modellen berechnet autograd diesen Wert für Sie, hier schreiben wir ihn jedoch direkt hin.

Für den Abstieg benötigen Sie einen Startpunkt. Wir wählen einen beliebigen Startwert, der weit vom Ergebnis entfernt ist, damit wir beobachten können, wie die Schritte sich darauf zubewegen.

Wir wählen eine moderate Lernrate, damit die Schritte groß genug für Fortschritt, aber klein genug sind, um ein Überschießen der Senke zu vermeiden.

Jede Iteration wendet dieselbe Regel wie zuvor an: Der skalierte Gradient wird von x subtrahiert. Eine Zeile erledigt die gesamte Arbeit bergab.

Ein Schritt reicht nicht aus, daher verpacken wir das Update in eine Schleife. Etwa zwanzig Iterationen lassen x gleichmäßig zum Minimum gleiten.

Wenn Sie x und f(x) bei jedem Durchlauf ausgeben, sehen Sie, wie sie konvergieren: x nähert sich 3, und der Funktionswert schrumpft gegen null.

Beachten Sie, dass die Bewegungen kleiner werden, je näher Sie dem Boden kommen. Nahe dem Minimum ist der Gradient winzig, daher werden die Schritte ganz ohne zusätzlichen Code automatisch kleiner.

Setzen Sie die Lernrate beispielsweise auf 1.1 und führen Sie den Code erneut aus. x springt davon, statt sich einzupendeln. So sehen Sie unmittelbar, wie ein zu großer Schritt divergiert.

Diese wenigen Zeilen entsprechen genau dem, was Deep Learning macht – nur mit Millionen von Gewichten und einem automatisch berechneten Gradienten. Die grundlegende Schleife ändert sich nie.

Sie haben Gradient Descent von Hand programmiert: Definieren Sie eine Funktion und ihren Gradienten, beginnen Sie an einem beliebigen Punkt und wiederholen Sie dann die Update-Regel, bis x gegen das Minimum konvergiert. ✅