Positionele codering voor volgorde

Self-attention behandelt een zin als een verzameling tokens. Herschik de woorden en de wiskunde verandert nauwelijks, dus het model heeft geen ingebouwd gevoel voor volgorde.

Maar volgorde is belangrijk: "dog bites man" is niet "man bites dog". We moeten het model een signaal geven over de positie van elk token.

De truc is een positievector rechtstreeks bij de embedding van elk token op te tellen. De vorm blijft gelijk, zodat attention inhoud en plaats samengevoegd ziet.

De oorspronkelijke transformer gebruikte vaste sinus- en cosinus-golven met verschillende frequenties, één patroon per dimensie, om elke positie te markeren.

Door frequenties te mengen krijgt elke positie een unieke vingerafdruk. De vloeiende golven laten het model bovendien generaliseren naar lengtes die het tijdens het trainen nooit zag.

Even dimensies gebruiken sinus, oneven dimensies cosinus, waarbij de golflengte over de dimensies groeit. Dat is het volledige recept voor deze codering.

Een mooie bonus: met sinusoïden is de verschuiving tussen twee posities eenvoudig uit te drukken, wat attention helpt redeneren over relatieve afstand.

Moderne modellen slaan sinusoïden vaak over en gebruiken een geleerde embeddingtabel, met één trainbare vector per positie, net als bij woordembeddings.

Vaste sinusoïden kunnen gratis extrapoleren naar nieuwe lengtes; geleerde tabellen passen bij je gegevens, maar zijn begrensd op de maximale lengte waarop je hebt getraind.

Nieuwere transformers geven de voorkeur aan rotatiecodering voor posities. Daarbij worden query- en key-vectoren gedraaid met een aan de positie gekoppelde hoek, zodat volgorde rechtstreeks in attention wordt verwerkt.

Welke methode je ook kiest, positionele informatie wordt eenmalig aan de invoer toegevoegd, voordat de eerste aandachtslaag wordt uitgevoerd.

Je hebt geleerd dat attention de volgorde negeert. Daarom voegen we positionele coderingen toe — sinusoïdaal, geleerd of roterend — om aan te geven waar tokens staan. Goed gedaan!