Positional encoding til rækkefølge

Selvopmærksomhed behandler en sætning som en pose tokens. Bland ordene, og matematikken ændrer sig næsten ikke, så modellen har ingen indbygget fornemmelse for rækkefølge.

Men rækkefølgen betyder noget: "dog bites man" er ikke "man bites dog". Vi skal give modellen et signal om hvert tokens placering.

Tricket er at tilføje en positionsvektor direkte til hvert tokens indlejring. Samme form gør, at opmærksomheden ser indhold og placering smeltet sammen.

Den oprindelige transformer brugte faste sinus- og cosinusbølger med forskellige frekvenser, ét mønster pr. dimension, til at markere hver position.

En blanding af frekvenser giver hver position et unikt fingeraftryk, og de jævne bølger lader modellen generalisere til længder, den aldrig så under træningen.

Lige dimensioner bruger sinus, ulige dimensioner bruger cosinus, og bølgelængden vokser på tværs af dimensionerne. Det er hele opskriften på kodningen.

En smart fordel er, at forskydningen mellem to positioner er nem at udtrykke med sinusbølger, hvilket hjælper opmærksomheden med at ræsonnere om relativ afstand.

Moderne modeller springer ofte sinusbølger over og bruger en lært indlejringstabel med én træningsbar vektor pr. position, ligesom ordindlejringer.

Faste sinusbølger kan uden ekstra omkostning ekstrapolere til nye længder; lærte tabeller passer til dine data, men er begrænset til den maksimale længde, du trænede på.

Nyere transformere foretrækker rotationsbaseret positionskodning, som drejer forespørgsels- og nøglevektorer med en positionsbestemt vinkel og indbygger rækkefølgen direkte i opmærksomheden.

Uanset hvilken metode du vælger, indsættes positionsinformationen én gang ved inputtet, før det første opmærksomhedslag overhovedet kører.

Du har lært, at opmærksomhed ignorerer rækkefølge, så vi tilføjer positionskodninger, uanset om de er sinusformede, lærte eller rotationsbaserede, for at fortælle tokens, hvor de befinder sig. Godt gået!