Multi-Head-Attention und Positionen

Ein einzelner Attention-Head kann jeweils nur eine Art von Beziehung verfolgen. Natürliche Sprache erfordert, dass viele Muster gleichzeitig erkannt werden. 🧠

Multi-Head-Attention führt mehrere Attention-Berechnungen parallel aus, jeweils mit eigenen gelernten Projektionen und einem eigenen Fokus.

Ein Head verfolgt möglicherweise Subjekt-Verb-Beziehungen, während ein anderer Pronomen verfolgt. Zusammen erfassen sie ein deutlich umfassenderes Bild des Satzes.

Das Modell teilt seine Vektorgröße auf die Heads auf, sodass jeder Head in einem kleineren Unterraum arbeitet. Der gesamte Rechenaufwand bleibt ungefähr gleich.

Nachdem jeder Head eine Ausgabe erzeugt hat, konkatenieren Sie sie und leiten das Ergebnis durch eine weitere lineare Schicht, um die Perspektiven zu vermischen.

Self-Attention behandelt die Eingabe wie eine Menge und kann daher allein nicht zwischen „dog bites man“ und „man bites dog“ unterscheiden. Sie ist reihenfolgeblind.

Um das zu beheben, fügen wir jedem Wort ein Positions-Encoding hinzu, damit das Modell weiß, wo sich jedes Token in der Sequenz befindet.

Der ursprüngliche Transformer verwendet feste Sinus- und Kosinus-Wellen mit unterschiedlichen Frequenzen, um jeder Position ein eindeutiges, gleichmäßiges Merkmal zu geben.

Positionsvektoren werden zu den Wort-Embeddings addiert, nicht an deren Ende angehängt. So trägt jedes Token sowohl seine Bedeutung als auch seine Position in sich.

Viele moderne Modelle ersetzen feste Wellen durch gelernte Positions-Embeddings, die zusammen mit allem anderen trainiert werden und dadurch flexibler sind.

Multi-Head-Attention erkennt viele Beziehungen, Positions-Encodings stellen die Reihenfolge wieder her. Zusammen ermöglichen sie es dem Transformer, Sequenzen wirklich zu verstehen. ✨

Sie haben gesehen, wie Multi-Head-Attention viele Beziehungen parallel erfasst, während Positions-Encodings dem Modell ein Gefühl für Reihenfolge geben. 🎯