Positionskodning för ordning

Self-attention behandlar en mening som en samling token. Blanda orden så förändras matematiken knappt alls, vilket innebär att modellen saknar en inbyggd känsla för ordning.

Men ordningen spelar roll: "dog bites man" är inte "man bites dog". Vi måste ge modellen någon signal om varje tokens position.

Tricket är att addera en positionsvektor direkt till varje tokens inbäddning. Formen är densamma, så attention ser innehåll och plats sammansmälta.

Den ursprungliga transformatorn använde fasta sinus- och cosinusvågor med olika frekvenser, ett mönster per dimension, för att markera varje position.

En blandning av frekvenser ger varje position ett unikt fingeravtryck, och de jämna vågorna låter modellen generalisera till längder den aldrig såg under träningen.

Jämna dimensioner använder sinus och udda dimensioner cosinus, medan våglängden växer över dimensionerna. Det är hela receptet för kodningen.

En trevlig bonus är att förskjutningen mellan två positioner är lätt att uttrycka med sinusvågor, vilket hjälper attention att resonera om relativt avstånd.

Moderna modeller hoppar ofta över sinusvågor och använder en inlärd embedding-tabell, med en träningsbar vektor per position, precis som ordinbäddningar.

Fasta sinusvågor extrapolerar till nya längder utan extra kostnad; inlärda tabeller passar era data men är begränsade till den maximala längd ni tränade på.

Nyare transformatorer föredrar rotary-positionskodning, som roterar query- och key-vektorer med en vinkel kopplad till positionen och bygger in ordningen direkt i attention.

Oavsett vilket schema ni väljer matas positionsinformationen in en gång vid indata, innan det första attentionlagret körs.

Ni har lärt er att attention ignorerar ordning, så vi adderar positionskodningar – sinusformade, inlärda eller rotary – för att visa token var de befinner sig. Bra gjort!