SGD mit Momentum

Vanilla-SGD führt Schritte nur anhand des aktuellen Gradienten aus. Jede Aktualisierung beginnt von vorn, sodass eine verrauschte Steigung es zum Schwanken bringt und nur langsam zum Minimum führt.

Momentum gibt SGD ein Gedächtnis. Es bildet einen gleitenden Mittelwert vergangener Gradienten und bewegt sich in diese Richtung – wie ein Ball, der bergab immer schneller wird.

Momentum verfolgt eine velocity, die die alte Geschwindigkeit mit dem neuen Gradienten verbindet. Die Gewichte bewegen sich bei jedem Schritt um diese geglättete Geschwindigkeit.

Der Momentum-Koeffizient beta legt fest, wie stark vergangene Schritte berücksichtigt werden. Ein üblicher Wert ist 0.9, sodass der größte Teil der Geschwindigkeit übernommen wird.

Da Momentum viele Gradienten mittelt, hebt sich zufälliges Rauschen in einzelnen Batches größtenteils auf. Der Weg zum Minimum wird glatter und gleichmäßiger.

Die aufgebaute Geschwindigkeit lässt den Optimierer über kleine Täler und flache Stellen hinwegrollen, an denen einfaches SGD ins Stocken geraten würde. Der Ball bleibt nicht an jedem Kieselstein stehen.

Sie müssen das nicht von Hand programmieren. Übergeben Sie einfach momentum an den integrierten SGD-Optimierer, und PyTorch verfolgt die Geschwindigkeit für Sie.

Eine ausgefeiltere Variante ist das Nesterov-Momentum. Es prüft, wohin sich die Geschwindigkeit bewegt, bevor es den Gradienten misst. Dadurch konvergiert es oft etwas schneller.

Zu viel Geschwindigkeit kann Sie über den Talboden hinaus tragen. Wenn der Loss schwankt oder divergiert, senken Sie die learning rate oder reduzieren Sie das Momentum etwas.

Auch angesichts ausgefeilter Optimierer bleibt SGD with momentum eine starke Baseline und generalisiert bei Vision-Modellen oft hervorragend.

Der Vorteil ist deutlich: Mit Momentum wird ein gutes Minimum meist in weniger Epochen erreicht als mit einfachem SGD, und der Weg dorthin verläuft mit weniger Zickzackbewegungen.

Momentum gibt SGD eine Geschwindigkeit, die vergangene Gradienten verbindet, Rauschen glättet und über kleine Unebenheiten hinwegrollt. Setzen Sie Momentum auf etwa 0.9, um schneller und gleichmäßiger abzusteigen. 🏂