Waarom reeksen geheugen nodig hebben

In een reeks bevat de volgorde informatie. De woorden 'hond bijt man' en 'man bijt hond' gebruiken dezelfde tokens, maar hebben een tegengestelde betekenis. 🐶

Tekst, audio, aandelenkoersen en sensormetingen zijn allemaal reeksen: geordende lijsten waarin elke stap verband houdt met de stappen eromheen.

Een standaard feedforward-netwerk ziet telkens één invoer van vaste grootte. Het kan niet weten wat eraan voorafging en vergeet het verleden dus onmiddellijk.

Zinnen hebben allerlei lengtes. Een netwerk met invoer van vaste grootte kan een zin van 3 woorden en een zin van 30 woorden niet met dezelfde gewichten netjes verwerken.

We hebben een model nodig dat een doorlopend geheugen bijhoudt van wat het heeft gezien en dat geheugen bij elke stap in de reeks bijwerkt.

Dat geheugen heet de verborgen toestand: een vector die het model meeneemt en die alles samenvat wat belangrijk was in eerdere stappen.

Een recurrent model leest de reeks stap voor stap en combineert de nieuwe invoer met zijn huidige geheugen om een bijgewerkt geheugen te maken.

Dezelfde set gewichten wordt bij elke tijdstap opnieuw gebruikt. Daardoor blijft het model klein en kan het reeksen van elke lengte verwerken.

Dankzij het geheugen kan context voorspellingen beïnvloeden. Om 'the clouds are in the ___' af te maken, steunt het model op het eerdere woord 'clouds'.

Sommige aanwijzingen staan direct naast elkaar; andere bevinden zich veel eerder in de reeks. Goed geheugen moet zowel korte als lange afhankelijkheden vastleggen.

Modellen met een verborgen toestand die steeds opnieuw wordt doorgegeven, heten recurrente netwerken. Ze zijn de klassieke oplossing voor leren uit geordende gegevens.

Reeksen ontlenen betekenis aan hun volgorde, en gewone netwerken vergeten het verleden. De oplossing is een model met geheugen dat stap voor stap wordt bijgewerkt. ✅