Varför sekvenser behöver minne

I en sequence är ordningen information. Fraserna ”dog bites man” och ”man bites dog” använder samma tokens men betyder motsatta saker. 🐶

Text, ljud, aktiekurser och sensoravläsningar är alla sequences: ordnade listor där varje steg hänger ihop med stegen omkring det.

Ett vanligt feedforward-nätverk ser en indata med fast storlek åt gången. Det har inget sätt att veta vad som kom tidigare, så det glömmer det förflutna direkt.

Meningar kan vara olika långa. Ett nätverk med indata med fast storlek kan inte hantera en fras på tre ord och en på 30 ord på ett smidigt sätt med samma vikter.

Vi behöver en modell som behåller ett löpande minne av det den har sett och uppdaterar minnet vid varje steg i sekvensen.

Det minnet kallas dolt tillstånd: en vektor som modellen för vidare och som sammanfattar allt viktigt från tidigare steg.

En rekurrent modell läser sekvensen steg för steg och kombinerar den nya indata med sitt aktuella minne för att skapa ett uppdaterat minne.

Samma uppsättning vikter återanvänds vid varje tidssteg. Det håller modellen liten och låter den hantera sekvenser av valfri längd.

Minne låter kontexten påverka förutsägelserna. För att avsluta ”molnen finns på ___” förlitar sig modellen på det tidigare ordet ”molnen”.

Vissa ledtrådar finns precis intill, medan andra ligger långt bak i sekvensen. Ett bra minne måste fånga både korta och långa beroenden.

Modeller som bygger på ett dolt tillstånd som loopas kallas rekurrenta nätverk. De är det klassiska svaret på hur man lär sig från ordnade data.

Sekvenser bär betydelse genom sin ordning, och vanliga nätverk glömmer det förflutna. Lösningen är en modell med minne som uppdateras steg för steg. ✅