SGD z momentum

Wersja vanilla SGD wykonuje kroki, korzystając wyłącznie z bieżącego gradientu. Każda aktualizacja zaczyna się od zera, więc zaszumione nachylenie powoduje chwiejny i powolny ruch w stronę minimum.

Momentum zapewnia SGD pamięć. Przechowuje bieżącą średnią wcześniejszych gradientów i porusza się w tym kierunku, jak kula nabierająca prędkości podczas staczania się ze zbocza.

Momentum śledzi prędkość, która łączy poprzednią prędkość z nowym gradientem. Wagi są następnie aktualizowane w każdym kroku zgodnie z tą wygładzoną prędkością.

Współczynnik momentum beta określa, jak duże znaczenie mają wcześniejsze kroki. Typowa wartość to 0.9, co oznacza, że większość prędkości zostaje zachowana.

Ponieważ momentum uśrednia wiele gradientów, losowy szum w pojedynczej partii w dużej mierze się znosi. Droga do minimum staje się płynniejsza i bardziej stabilna.

Zgromadzona prędkość pozwala optymalizatorowi przejść przez małe zagłębienia i płaskie obszary, które mogłyby zatrzymać zwykły SGD. Kula nie zatrzymuje się na każdym kamyku.

Nie trzeba implementować tego ręcznie. Wystarczy przekazać momentum do wbudowanego optymalizatora SGD, a PyTorch będzie śledzić prędkość.

Bardziej zaawansowany wariant, momentum Nesterova, sprawdza, dokąd zmierza prędkość, zanim zmierzy gradient. Często zbiega odrobinę szybciej.

Zbyt duża prędkość może przenieść model poza dno doliny. Jeśli strata oscyluje lub rozbiega się, proszę zmniejszyć learning rate albo nieco ograniczyć momentum.

Nawet przy dostępności zaawansowanych optymalizatorów SGD z momentum pozostaje solidnym punktem odniesienia i często bardzo dobrze generalizuje w modelach wizyjnych.

Korzyść jest realna: momentum zwykle osiąga dobre minimum w mniejszej liczbie epok niż zwykły SGD, a po drodze wykonuje mniej zygzaków.

Momentum zapewnia SGD prędkość łączącą wcześniejsze gradienty, wygładza szum i pozwala przejeżdżać przez małe nierówności. Warto ustawić momentum w pobliżu 0.9, aby uzyskać szybsze i stabilniejsze opadanie. 🏂