Skalad skalärprodukt och multi-head

När key-vektorerna är långa blir skalärprodukternas poäng enorma och softmax blir knivskarp. Det dödar gradienterna, så vi måste skala ned poängen.

Lösningen är att dividera varje poäng med kvadratroten ur key-dimensionen. Det håller talen inom ett stabilt intervall före softmax.

Sätt ihop det: beräkna poäng, skala, använd softmax och blanda sedan values. Detta recept i fyra steg är den berömda scaled dot-product attention.

Ett enda attentionhuvud lär sig bara ett sätt att relatera token till varandra. Men språk har många relationer samtidigt, så ett huvud är begränsande.

Multi-head attention kör flera attentionhuvuden sida vid sida, vart och ett med egna Q-, K- och V-projektioner, där varje huvud fokuserar på ett annat delrum.

Ni gör inte modellen bredare. Ni delar upp modelldimensionen mellan huvudena, så att varje huvud arbetar med en mindre del parallellt.

För att köra huvudena parallellt ändrar ni form på Q, K och V för att lägga till en axel för huvuden och utför sedan attention oberoende inom varje huvud.

Ett huvud kan följa grammatik, medan ett annat kopplar ett pronomen till sitt substantiv. Flera huvuden fångar de olika mönster som samma indata innehåller.

När varje huvud har producerat sina utdata sammanfogar ni dem till en enda vektor med den ursprungliga modelldimensionen.

En sista utdataprojektion blandar de sammanfogade resultaten från huvudena, så att modellen kan kombinera det som varje huvud upptäckte.

I praktiken levererar PyTorch nn.MultiheadAttention, så ni behöver sällan skriva omformningarna för hand. Att känna till matematiken hjälper ändå vid felsökning.

Ni har sett hur skalning stabiliserar softmax och hur multi-head attention delar upp arbetet mellan parallella huvuden, som sedan sammanfogas och projiceras. Ni gör stora framsteg!