Problem zanikającego gradientu

Zwykłe sieci RNN wyglądają na potężne, ale mają trudności z zapamiętywaniem kontekstu odległego w sekwencji. Przyczyną jest problem zanikającego gradientu.

Sieci uczą się, przesyłając sygnały błędu, nazywane gradientami, wstecz w czasie, aby przesuwać każdą wagę we właściwym kierunku.

W przypadku RNN to przejście wsteczne rozwija się na każdym kroku, więc długie zdanie oznacza bardzo długi łańcuch mnożeń.

Gdy mnoży się przez siebie wiele wartości mniejszych od jedności, wynik szybko zbliża się do zera. Gradient zanika na długo przed dotarciem do początkowych słów.

Ponieważ sygnał zanika, sieć prawie nie aktualizuje wag powiązanych z pierwszymi tokenami, więc odległy kontekst zostaje w praktyce utracony.

Wyobraź sobie mnożenie liczby 0,5 przez samą siebie dwadzieścia razy. Wartość niemal znika — tak właśnie dzieje się z gradientami na odległych krokach.

Gradienty mogą również eksplodować, gdy wartości przekraczają jeden, gwałtownie rosnąc i destabilizując uczenie przez chaotyczne zmiany wag.

Eksplodujące gradienty można łatwo ograniczyć: przycinanie gradientów nakłada limit na ich rozmiar, dzięki czemu pojedynczy krok nie rozsadzi modelu.

Zanikające gradienty są odporne na proste poprawki, więc zwykłe RNN nadal zapominają. Potrzebujemy inteligentniejszej komórki, która przechowa pamięć przez wiele kroków.

Specjalne architektury z bramkami, takie jak LSTM i GRU, kontrolują, co zachować, a co zapomnieć, podtrzymując sygnały z odległego kontekstu.

Zrozumienie tego ograniczenia wyjaśnia, dlaczego w ogóle powstały nowoczesne modele sekwencyjne: zaprojektowano je tak, aby zachowywały gradienty na dużych odległościach. 💡

Dlaczego zwykłe RNN zapominają początkowe słowa w długich sekwencjach?

W długich sekwencjach gradienty zwykłego RNN zanikają, usuwając odległy kontekst. Komórki z bramkami, takie jak LSTM i GRU, są rozwiązaniem, które omówimy w następnej części. 🎯