Self-Attention Schritt für Schritt

Bei Self-Attention betrachtet jedes Wort jedes andere Wort im selben Satz, um eine reichhaltigere, kontextabhängige Version seiner selbst zu erstellen. 🔍

Jedes Wort wird auf drei Vektoren projiziert: eine Query, einen Key und einen Value. Diese drei Rollen bestimmen die gesamte Self-Attention-Berechnung.

Die Query repräsentiert, wonach ein Wort sucht. Sie können sie sich als die Frage vorstellen, die dieses Wort über den restlichen Satz stellt.

Jedes Wort stellt außerdem einen Key bereit, der ankündigt, welche Inhalte es enthält, sowie einen Value mit den eigentlichen Informationen, die bei einer Auswahl weitergegeben werden.

Vergleichen Sie eine Query mithilfe eines Skalarprodukts mit jedem Key. Ein größeres Produkt bedeutet, dass Query und Key gut zusammenpassen, sodass dieses Wort mehr Aufmerksamkeit verdient.

Teilen Sie die Bewertungen durch die Quadratwurzel der Key-Dimension. Diese Skalierung hält die Zahlen stabil, damit Softmax nicht zu spitz wird.

Wenden Sie Softmax auf die skalierten Bewertungen an, um positive Attention-Gewichte zu erhalten, deren Summe über alle Wörter des Satzes 1 ergibt.

Multiplizieren Sie jeden Value mit seinem Gewicht und addieren Sie die Ergebnisse. Daraus entsteht ein neuer Vektor, der Informationen der relevantesten Wörter kombiniert.

Alle Schritte verbinden sich zu einem übersichtlichen Ausdruck: scaled dot-product attention über Queries, Keys und Values, wie im Transformer-Paper eingeführt.

Der Begriff Self-Attention kommt daher, dass Queries, Keys und Values aus derselben Sequenz stammen. Dadurch können Wörter auf ihre eigenen Nachbarn achten.

In „it was tired“ verknüpft Self-Attention it durch die Gewichtung benachbarter Wörter mit dem richtigen Nomen und gibt jedem Token einen klareren Kontext.

Sie haben Self-Attention Schritt für Schritt kennengelernt: Wörter in Queries, Keys und Values umwandeln, bewerten, skalieren, Softmax anwenden und anschließend die Values kombinieren. Das ist der Antrieb. ⚙️