Gradienty wskazują pod górę — więc należy iść w przeciwną stronę

Aby zejść w dół, najpierw trzeba wiedzieć, w którą stronę prowadzi dół. Gradient to narzędzie, które informuje o nachyleniu straty w bieżącym punkcie.

Oto niespodzianka: gradient wskazuje kierunek, w którym strata rośnie najszybciej. Pokazuje najbardziej strome wejście, a nie zejście.

Ponieważ gradient wskazuje górę, aby zejść w dół, należy poruszać się w kierunku przeciwnym. Odjęcie gradientu prowadzi w stronę mniejszej straty.

Ta jedna linia jest sercem trenowania. Należy pomnożyć gradient przez mały rozmiar kroku, a następnie odjąć go od każdej wagi. Po powtórzeniu strata spada.

Przy wielu wagach gradient jest całym wektorem: po jednym nachyleniu dla każdej wagi. Każda waga jest korygowana za pomocą własnego składnika tego wektora.

Duża wartość gradientu oznacza, że strata jest w tym kierunku bardzo stroma, więc dana waga wymaga większej korekty. Małe wartości oznaczają, że teren jest tam niemal płaski.

Na samym dnie doliny nachylenie się wypłaszcza, a gradient staje się równy zero. Nie ma już czego odejmować, więc wagi przestają się zmieniać. Nastąpiła zbieżność.

Niemal nigdy nie dociera się na dno jednym skokiem. Każdy krok poprawia sytuację tylko trochę, dlatego schodzenie w dół jest długą serią małych ruchów.

Trasa wyznaczona przez ciągłe podążanie wzdłuż ujemnego gradientu jest drogą najszybszego spadku. To zachłanny skrót w kierunku mniejszej straty.

Odejmowanie przesuwa model przeciwnie do kierunku wzrostu, więc przy dostatecznie małym kroku strata musi spaść. To proste odwrócenie znaku zamienia nachylenie w postęp.

Rzadko będą Państwo obliczać te nachylenia ręcznie. autograd w PyTorch znajdzie gradient za Państwa, ale reguła pozostaje taka sama: należy go odjąć, aby zejść w dół.

Gradient wskazuje górę, w kierunku większej straty, dlatego należy odjąć jego przeskalowaną wersję, aby wykonać krok w dół. Powtarzanie tej aktualizacji prowadzi model w stronę doliny. ⬇️