Hvorfor sekvenser trenger hukommelse

I en sequence er rekkefølgen informasjon. Ordene «hunden biter mannen» og «mannen biter hunden» bruker de samme ordene, men betyr det motsatte. 🐶

Tekst, lyd, aksjekurser og sensormålinger er alle sekvenser: ordnede lister der hvert trinn henger sammen med trinnene rundt det.

Et standard feedforward-nettverk ser én input med fast størrelse om gangen. Det har ingen måte å vite hva som kom før, så det glemmer fortiden med en gang.

Setninger finnes i alle lengder. Et nettverk med input i fast størrelse kan ikke håndtere en frase på 3 ord og en på 30 ord på en god måte med de samme vektene.

Vi trenger en modell som beholder en løpende hukommelse over det den har sett, og oppdaterer denne hukommelsen ved hvert steg i sekvensen.

Denne hukommelsen kalles skjult tilstand: en vektor modellen tar med seg videre, og som oppsummerer alt viktig fra tidligere steg.

En rekurrent modell leser sekvensen steg for steg, kombinerer den nye inputen med den nåværende hukommelsen og produserer en oppdatert hukommelse.

Det samme settet med vekter brukes på nytt ved hvert tidssteg. Dette holder modellen liten og lar den håndtere sekvenser av vilkårlig lengde.

Hukommelse lar kontekst påvirke prediksjonene. For å fullføre «the clouds are in the ___» støtter modellen seg på det tidligere ordet «clouds».

Noen ledetråder står rett ved siden av hverandre, mens andre ligger langt bak i sekvensen. En god hukommelse må fange opp både korte og lange avhengigheter.

Modeller som er bygget rundt en skjult tilstand i en løkke, kalles rekurrente nettverk. De er det klassiske svaret på hvordan man kan lære fra ordnede data.

Sekvenser bærer mening gjennom rekkefølgen sin, og vanlige nettverk glemmer fortiden. Løsningen er en modell med hukommelse som oppdateres steg for steg. ✅