Problemet med forsvindende gradienter over dybe tidstrin

For at lære af afhængigheder over lange afstande i en sekvens skal gradienter fra losset ved det sidste tidssteg bevæge sig baglæns gennem hvert tidssteg for at opdatere de parametre, der behandlede de tidlige input. For en sekvens med længden T betyder det, at den samme vægtmatrix W_hh multipliceres med sig selv T gange under BPTT. Denne gentagne multiplikation er årsagen til både forsvindende gradienter (eksponentielt henfald) og eksploderende gradienter (eksponentiel vækst).

Under BPTT involverer lossens gradient med hensyn til den skjulte tilstand ved tidssteg t produktet af Jacobimatricerne for h med hensyn til h ved hvert trin fra t til T. Jacobimatricen ved hvert trin indeholder diag(f'(h_t)) * W_hh, hvor f' er den afledte af aktiveringsfunktionen. For tanh er f' begrænset af 1, og typiske tilfældige vægte har en spektral radius på under 1 — derfor driver dette produkt af T matricer gradienterne eksponentielt hurtigt mod nul med T.

Du kan observere forsvindende gradienter direkte ved at logge gradientnormen ved hvert tidssteg under BPTT. Registrer hooks til baglæns gennemløb på den skjulte tilstand ved hvert RNN-trin for at opfange gradienternes størrelser. I et almindeligt RNN med 50 trin vil gradienten ved tidssteg 1 typisk være 1e-6 eller mindre — reelt nul — hvilket betyder, at de første tokens i en sekvens næsten ikke påvirker modellens parametre. Modellen kan ikke lære, at subjektet i begyndelsen af en lang sætning bestemmer verbet i slutningen.

Eksploderende gradienter opstår, når den spektrale radius for W_hh overstiger 1 — gradientnormerne vokser eksponentielt med sekvenslængden. Symptomet er NaN-værdier for loss eller parametre, der opdateres til uendelig. I modsætning til forsvindende gradienter (som medfører et ubemærket træningssvigt) får eksploderende gradienter træningen til at gå synligt ned. Den almindelige løsning er gradientbegrænsning: omberegn gradientvektoren, så den har en maksimal L2-norm på 1.0 før optimeringstrinnet. Det forhindrer katastrofale opdateringer uden at fjerne gradientsignalet.

En praktisk teknik til fejlfinding er at logge gradientnormerne for alle parametre efter hvert baglæns gennemløb og plotte dem under træningen. For almindelige RNN'er viser den rekurrente vægtmatrix W_hh typisk meget mindre gradienter end inputvægten W_xh, hvilket bekræfter, at information over lange afstande ikke når frem til de tidligere parametre. Denne visualisering afslører ofte, at kun de sidste få tidssteg bidrager meningsfuldt til læringen, hvilket motiverer skiftet til arkitekturer med gating.

Aktiveringsfunktionen tanh er begrænset til mellem -1 og 1 og har den afledte 1 - tanh^2(x). Når inputtet er stort (mættet), nærmer den afledte sig 0 — og reducerer gradienten til næsten nul ved det pågældende trin. Multiplikation af mange afledte tæt på nul under BPTT forstærker problemet med forsvindende gradienter. ReLU har den afledte 1 for positive input (ingen mætning), hvilket hjælper gradientflowet i fremadrettede netværk, men i RNN'er dominerer den gentagne multiplikation med W_hh stadig og kan forårsage eksplosioner med ReLU.

Afkortet BPTT begrænser gradientpropageringen til et fast vindue på K tidssteg i stedet for hele sekvensens længde. Gradienterne propagere​s K trin bagud, hvorefter den skjulte tilstand frakobles beregningsgrafen (og bliver en konstant). Det forhindrer hukommelsesproblemer og gradienteksplosioner for meget lange sekvenser (lyd og tekstkorpusser), men betyder, at afhængigheder, der strækker sig over mere end K trin, ikke læres. K=20-50 er typisk ved sprogmodellering med almindelige RNN'er.

Overvej sætningen: 'The trophy that the man won was big.' Verbet 'was' skal stemme overens med 'trophy', ikke med 'man'. Det kræver, at oplysningerne om 'trophy' bevares over 5 ord, indtil 'was' forekommer. Et almindeligt RNN, der trænes med BPTT, kan grundlæggende ikke gøre dette pålideligt ved mellemrum på over 5-10 tokens. Dette er den centrale begrænsning, der førte til udviklingen af LSTM (1997) og senere Transformer-modeller (2017), som begge har eksplicitte mekanismer til at bevare information over lange afstande.

Flere initialiseringstricks forbedrer træningen af almindelige RNN'er på sekvenser af moderat længde. Initialisering af W_hh som en ortogonal matrix (spektral radius præcis 1) forhindrer tidlig forsvinden eller eksplosion. En genvejstilslutning fra input direkte til output omgår flere matrixmultiplikationer. Initialisering med identitetsmatrix af W_hh sammen med ReLU-aktivering (IRNN) har vist sig at kunne matche LSTM på visse opgaver, hvilket beviser, at initialisering alene delvist kan afhjælpe problemet med forsvindende gradienter.

Problemet med forsvindende gradienter i RNN'er blev dokumenteret af Hochreiter i 1991. Hans løsning, netværket Long Short-Term Memory (LSTM), der blev introduceret i 1997, erstatter den enkelte skjulte tilstand med en celletilstand, der beskyttes af gates. Celletilstanden bevæger sig gennem tiden med kun additive ændringer (ikke multiplikative), hvilket skaber en gradientmotorvej, der gør det muligt for gradienter at bevæge sig baglæns i det uendelige uden at forsvinde. Denne ene arkitektoniske nyskabelse gjorde praktisk træning af sekvenser med afhængigheder på over 100 tidssteg mulig.

Forskellen i træningsstabilitet mellem almindelige RNN'er og LSTM'er bliver markant for sekvenser, der er længere end 20-30 tidssteg. På den klassiske kopieringsopgave (gengiv inputsekvensen efter en lang forsinkelse) mislykkes almindelige RNN'er fuldstændigt ved forsinkelser på over 10 trin, mens LSTM'er lykkes ved forsinkelser på over 100 trin. Dette praktiske benchmark demonstrerer konkret, at problemet med forsvindende gradienter grundlæggende begrænser almindelige RNN'er, og at LSTM's arkitektoniske løsning er nødvendig til reel sekvensmodellering.

I denne lektion har du lært, at forsvindende gradienter opstår, når gentagen multiplikation med W_hh (med en spektral radius < 1) driver gradienterne eksponentielt mod nul i lange sekvenser, at eksploderende gradienter opstår, når den spektrale radius er > 1, og løses med gradientbegrænsning, samt at LSTM blev opfundet specifikt for at løse problemet med forsvindende gradienter gennem en additiv opdatering af celletilstanden, der skaber en gradientmotorvej. Dernæst undersøger vi LSTM-cellens arkitektur i detaljer.