Transformerarkitektur: Attention, tokens och kontext

Transformer är en neuronnätsarkitektur som introducerades 2017 och som har ersatt rekurrenta nätverk i de flesta NLP-uppgifter. Till skillnad från RNN-modeller, som bearbetar token för token, bearbetar Transformers hela sekvensen parallellt med hjälp av en mekanism som kallas self-attention. Denna parallella bearbetning gör träningen mycket snabbare och gör att modellen effektivare kan fånga beroenden över långa avstånd.

Self-attention gör att varje token i en sekvens samtidigt kan fokusera på alla andra tokens. I meningen ”The bank by the river was steep” kan ordet ”bank” starkt fokusera på ”river” för att fastställa dess betydelse. Varje token producerar tre vektorer: Query (Q), Key (K) och Value (V), som används för att beräkna viktade relationer mellan alla tokenpar.

Attention-poängen mellan token i och token j beräknas som skalärprodukten av Q_i och K_j, dividerad med kvadratroten ur nyckeldimensionen för att förhindra att gradienterna blir försvinnande små. Formeln är: Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) * V. Skalningsfaktorn sqrt(d_k) håller gradienterna stabila för stora embeddingdimensioner.

Istället för en enda uppsättning projektioner för Q, K och V använder Transformers multi-head attention: h parallella uppmärksamhetshuvuden som vart och ett lär sig olika aspekter av relationerna mellan token. Ett huvud kan lära sig syntaktiska beroenden (subjekt–verb), medan ett annat lär sig semantiska relationer (synonymer). Alla huvudens utdata konkateneras och projiceras för att skapa den slutliga representationen.

BERT (Bidirectional Encoder Representations from Transformers) läser hela sekvensen på en gång och tar samtidigt hänsyn till både vänster- och högerkontext. Tidigare modeller som GPT läste endast från vänster till höger. Denna dubbelriktning gör att BERT kan förstå att ”bank” i ”river bank” skiljer sig från ”bank” i ”bank account”, eftersom modellen ser alla omgivande ord samtidigt.

BERT introducerar två specialtoken. Token [CLS] (classification) placeras först i varje indata; efter bearbetningen sammanfattar dess slutliga dolda tillstånd information på meningsnivå och används för klassificeringsuppgifter. Token [SEP] separerar två meningar i uppgifter som frågebesvarande eller förutsägelse av nästa mening. Det är viktigt att förstå dessa token när Ni bygger BERT-pipelines.

Eftersom Transformers bearbetar alla token parallellt har de ingen inbyggd uppfattning om tokenordning. Positionskodningar läggs till i varje tokeninbäddning för att tillföra positionsinformation. BERT använder inlärda positionsinbäddningar, medan den ursprungliga Transformern använde sinusfunktioner. Utan positionskodning skulle ”cat bites dog” och ”dog bites cat” ge identiska representationer.

Varje BERT-encoderlager består av två underlager: multi-head self-attention följt av ett position-wise feed-forward network (två linjära lager med en GELU-aktivering). Varje underlager har en residualanslutning och lagernormalisering. BERT-base staplar 12 sådana lager, medan BERT-large använder 24. Djupare staplar fångar mer abstrakta språkliga strukturer.

BERT tokeniserar text med WordPiece-tokenisering av delord. Ovanliga ord delas upp i vanliga underenheter: ”unbelievable” kan bli ['un', '##believe', '##able']. Prefixet ## anger en fortsättning på ett delord. Denna metod hanterar ord utanför ordlistan på ett smidigt sätt och använder ett ord­förråd på cirka 30 000 token, vilket balanserar täckning och storleken på inbäddningstabellen.

När batchar med meningar av varierande längd bearbetas fylls kortare meningar ut med token [PAD] så att de får samma längd som den längsta sekvensen. En attention-mask är en binär tensor (1 för riktiga token, 0 för utfyllnad) som talar om för modellen att ignorera utfyllnadspositioner i attention-beräkningen. Utan denna mask skulle modellen ta hänsyn till meningslösa utfyllnadstoken och förstöra sina representationer.

BERT förtränades på två uppgifter. Masked Language Modelling (MLM) maskerar slumpmässigt 15 % av token och tränar BERT att förutsäga den ursprungliga token utifrån kontexten, vilket tvingar fram en dubbelriktad förståelse. Next Sentence Prediction (NSP) tränar BERT att avgöra om två meningar följer direkt på varandra, vilket underlättar uppgifter med meningspar. Finjustering anpassar sedan dessa informationsrika representationer till efterföljande uppgifter med mycket lite ytterligare träning.

I den här lektionen har Ni lärt Er att Transformers använder parallell self-attention i stället för sekventiell rekurrens, att BERT läser dubbelriktad kontext med hjälp av förträning med masked language modelling, samt att specialtoken [CLS] och [SEP] strukturerar BERT:s indata för klassificeringsuppgifter och uppgifter med meningspar. Härnäst undersöker vi hur Hugging Face-tokeniserare kodar råtext till det tensorformat som BERT förväntar sig.