Learning rate: za duży, za mały czy idealny

Gradient mówi, w którą stronę iść, ale jak daleko? Współczynnik uczenia to mnożnik określający wielkość każdego kroku w dół.

Współczynnik uczenia jest często najważniejszym pojedynczym ustawieniem podczas trenowania. Jeśli zostanie źle dobrany, nawet doskonały model nie nauczy się poprawnie.

Mały współczynnik uczenia powoduje stawianie drobnych, ostrożnych kroków. Strata spada, ale tak powoli, że trenowanie trwa bardzo długo albo zatrzymuje się przed dotarciem do doliny. 🐢

Duży współczynnik uczenia powoduje skoki tak dalekie, że model przelatuje nad doliną i ląduje wyżej po drugiej stronie. Strata zaczyna oscylować albo rośnie do nieskończoności.

Jeśli po kilku krokach strata rośnie albo zmienia się w NaN, współczynnik uczenia jest niemal zawsze zbyt duży. To najwyraźniejszy sygnał, aby go zmniejszyć.

Dobry współczynnik uczenia sprawia, że strata spada równomiernie i szybko, bez gwałtownych wahań. Krzywa płynnie opada i wyrównuje się blisko dna.

Rzadko zgaduje się całkowicie na ślepo. Częstą początkową wartością współczynnika uczenia jest około 0,001–0,01, a następnie dostosowuje się ją na podstawie zachowania krzywej straty.

Wykres straty w czasie jest najlepszą wskazówką. Rozbiegająca się krzywa oznacza, że należy wybrać wartość mniejszą; płaska, prawie nieruchoma krzywa sugeruje, że można ją nieco zwiększyć.

Właściwy współczynnik uczenia zależy od innych ustawień, takich jak rozmiar partii i optymalizator. Po zmianie jednego z nich może być konieczne ponowne dostrojenie współczynnika.

Można nawet zmniejszać współczynnik uczenia w miarę postępu trenowania: na początku wykonywać duże kroki, a przy dnie przejść do małych i ostrożnych, aby uzyskać dokładne zakończenie.

Nie ma jednej uniwersalnie najlepszej wartości, dlatego testowanie kilku współczynników uczenia i porównywanie krzywych jest normalną i oczekiwaną częścią trenowania modelu.

Współczynnik uczenia określa rozmiar kroku: zbyt mały powoduje pełzanie, zbyt duży prowadzi do przekraczania celu i rozbieżności, a właściwy pozwala płynnie schodzić w dół. Należy obserwować krzywą straty i odpowiednio go dostrajać. 🎯