Problem zanikającego gradientu w głębokich krokach czasowych

Aby uczyć się zależności dalekiego zasięgu w sekwencji, gradienty pochodzące od funkcji straty w ostatnim kroku czasowym muszą przejść wstecz przez każdy krok czasowy, aby zaktualizować parametry przetwarzające początkowe dane wejściowe. Dla sekwencji o długości T oznacza to mnożenie tej samej macierzy wag W_hh przez samą siebie T razy podczas BPTT. To wielokrotne mnożenie jest przyczyną zarówno zanikających gradientów (wykładniczy zanik), jak i eksplodujących gradientów (wykładniczy wzrost).

Podczas BPTT gradient funkcji straty względem stanu ukrytego w kroku czasowym t obejmuje iloczyn macierzy Jacobiego pochodnych h względem h w każdym kroku od t do T. Macierz Jacobiego w każdym kroku zawiera wyrażenie diag(f'(h_t)) * W_hh, gdzie f' jest pochodną funkcji aktywacji. Dla tanh wartość f' jest ograniczona przez 1, a typowe losowe wagi mają promień spektralny mniejszy niż 1 — dlatego iloczyn T macierzy sprowadza gradienty do zera w tempie wykładniczym wraz ze wzrostem T.

Zanikające gradienty można bezpośrednio zaobserwować, rejestrując normę gradientu w każdym kroku czasowym podczas BPTT. Należy zarejestrować haki wsteczne dla stanu ukrytego każdego kroku RNN, aby przechwycić wartości gradientów. W zwykłej sieci RNN składającej się z 50 kroków gradient w kroku 1 będzie zwykle równy 1e-6 lub mniejszy — praktycznie zerowy — co oznacza, że kilka pierwszych tokenów sekwencji ma niemal żadnego wpływu na parametry modelu. Model nie może nauczyć się, że podmiot na początku długiego zdania określa orzeczenie na jego końcu.

Eksplodujące gradienty występują, gdy promień spektralny W_hh przekracza 1 — normy gradientów rosną wykładniczo wraz z długością sekwencji. Objawami są wartości straty NaN lub parametry aktualizowane do nieskończoności. W przeciwieństwie do zanikających gradientów (które powodują niezauważalne niepowodzenie uczenia) eksplodujące gradienty w widoczny sposób przerywają uczenie. Standardowym rozwiązaniem jest obcinanie gradientu: przed wykonaniem kroku optymalizatora należy przeskalować wektor gradientu tak, aby jego maksymalna norma L2 wynosiła 1.0. Zapobiega to katastrofalnym aktualizacjom bez usuwania sygnału gradientu.

Praktyczną techniką debugowania jest rejestrowanie norm gradientów wszystkich parametrów po każdym przebiegu wstecznym i wykreślanie ich w trakcie uczenia. W zwykłych sieciach RNN macierz wag rekurencyjnych W_hh zwykle wykazuje znacznie mniejsze gradienty niż wagi wejściowe W_xh, co potwierdza, że informacje dalekiego zasięgu nie docierają do wcześniejszych parametrów. Taka wizualizacja często ujawnia, że tylko kilka ostatnich kroków czasowych ma istotny udział w uczeniu, co uzasadnia przejście na architektury z bramkami.

Funkcja aktywacji tanh przyjmuje wartości z przedziału od -1 do 1, a jej pochodną jest 1 - tanh^2(x). Gdy dane wejściowe mają dużą wartość (funkcja jest nasycona), pochodna zbliża się do 0, niemal całkowicie odcinając gradient w tym kroku. Mnożenie wielu prawie zerowych pochodnych podczas BPTT nasila problem zanikania. ReLU ma pochodną równą 1 dla dodatnich danych wejściowych (nie występuje nasycenie), co ułatwia przepływ gradientu w sieciach jednokierunkowych, ale w sieciach RNN nadal dominuje wielokrotne mnożenie przez W_hh, które przy ReLU może powodować eksplozję gradientów.

Skrócone BPTT ogranicza propagację gradientu do stałego okna K kroków czasowych zamiast do całej długości sekwencji. Gradienty są propagowane wstecz o K kroków, a następnie stan ukryty zostaje odłączony od grafu obliczeń (stając się stałą). Zapobiega to problemom z pamięcią i eksplozją gradientów dla bardzo długich sekwencji (dźwięku, korpusów tekstowych), ale uniemożliwia uczenie się zależności obejmujących więcej niż K kroków. W modelowaniu języka za pomocą zwykłych sieci RNN typowa wartość K wynosi 20–50.

Rozważmy zdanie: „The trophy that the man won was big.” Czasownik „was” musi zgadzać się z „trophy”, a nie z „man”. Wymaga to przeniesienia informacji o „trophy” przez 5 słów do miejsca, w którym pojawia się „was”. Zwykła sieć RNN uczona za pomocą BPTT praktycznie nie potrafi robić tego niezawodnie dla przerw dłuższych niż 5–10 tokenów. Jest to podstawowe ograniczenie, które doprowadziło do opracowania LSTM (1997), a później Transformerów (2017); oba rozwiązania mają jawne mechanizmy podtrzymywania informacji dalekiego zasięgu.

kilka sposobów inicjalizacji poprawia uczenie zwykłych sieci RNN na sekwencjach o umiarkowanej długości. Zainicjalizowanie W_hh jako macierzy ortogonalnej (o promieniu spektralnym dokładnie równym 1) zapobiega początkowemu zanikaniu i eksplozji gradientów. Dodanie połączenia pomijającego z wejścia bezpośrednio do wyjścia omija kilka mnożeń macierzy. Wykazano, że inicjalizacja macierzą jednostkową W_hh z aktywacją ReLU (IRNN) dorównuje LSTM w niektórych zadaniach, dowodząc, że sama inicjalizacja może częściowo rozwiązać problem zanikającego gradientu.

Problem zanikającego gradientu w sieciach RNN został opisany przez Hochreitera w 1991 roku. Jego rozwiązanie, sieć Long Short-Term Memory (LSTM) wprowadzona w 1997 roku, zastępuje pojedynczy stan ukryty stanem komórki chronionym przez bramki. Stan komórki przepływa w czasie z użyciem jedynie modyfikacji addytywnych (a nie multiplikatywnych), tworząc autostradę gradientu, która pozwala gradientom przepływać wstecz bez końca, bez zanikania. Ta pojedyncza innowacja architektoniczna umożliwiła praktyczne uczenie sekwencji z zależnościami obejmującymi ponad 100 kroków czasowych.

Różnica w stabilności uczenia między zwykłymi sieciami RNN a LSTM staje się wyraźna dla sekwencji dłuższych niż 20–30 kroków czasowych. W klasycznym zadaniu kopiowania (odtworzeniu sekwencji wejściowej po długim opóźnieniu) zwykłe sieci RNN całkowicie zawodzą przy opóźnieniach większych niż 10 kroków, podczas gdy LSTM radzi sobie z opóźnieniami przekraczającymi 100 kroków. Ten praktyczny test jednoznacznie pokazuje, że problem zanikającego gradientu fundamentalnie ogranicza zwykłe sieci RNN oraz że architektoniczne rozwiązanie zastosowane w LSTM jest niezbędne w rzeczywistym modelowaniu sekwencji.

W tej lekcji dowiedział się Pan / dowiedziała się Pani, że: zanikające gradienty występują, gdy wielokrotne mnożenie przez W_hh (o promieniu spektralnym < 1) prowadzi do wykładniczego zaniku gradientów w długich sekwencjach, eksplodujące gradienty występują, gdy promień spektralny > 1, a rozwiązaniem jest obcinanie gradientu, oraz że LSTM wynaleziono specjalnie po to, aby rozwiązać problem zanikającego gradientu za pomocą addytywnej aktualizacji stanu komórki, która zapewnia autostradę gradientu. W następnej części szczegółowo przyjrzymy się architekturze komórki LSTM.