L’auto-attention, étape par étape

Avec l’auto-attention, chaque mot examine tous les autres mots de la même phrase afin de construire une version de lui-même plus riche et tenant compte du contexte. 🔍

Chaque mot est projeté dans trois vecteurs : une requête, une clé et une valeur. Ces trois rôles pilotent tout le calcul de l’auto-attention.

La requête représente ce que recherche un mot. Considérez-la comme la question que ce mot pose à propos du reste de la phrase.

Chaque mot fournit également une clé qui indique ce qu’il contient, ainsi qu’une valeur contenant les informations à transmettre s’il est sélectionné.

Comparez une requête à chaque clé à l’aide d’un produit scalaire. Un produit élevé signifie que la requête et la clé sont bien alignées : ce mot mérite donc davantage d’attention.

Divisez les scores par la racine carrée de la dimension des clés. Cette mise à l’échelle stabilise les nombres afin que softmax ne devienne pas trop sélectif.

Faites passer les scores mis à l’échelle dans softmax pour obtenir des poids d’attention positifs dont la somme vaut 1 sur l’ensemble des mots de la phrase.

Multipliez chaque valeur par son poids, puis additionnez-les. Vous obtenez ainsi un nouveau vecteur qui combine les informations des mots les plus pertinents.

Toutes les étapes se réunissent dans une expression claire : l’attention à produit scalaire mis à l’échelle appliquée aux requêtes, aux clés et aux valeurs, comme elle a été présentée dans l’article sur le transformeur.

On parle d’auto-attention parce que les requêtes, les clés et les valeurs proviennent toutes de la même séquence ; les mots peuvent ainsi se concentrer sur leurs propres voisins.

Dans « it was tired », l’auto-attention relie it au nom correct en pondérant les mots voisins, ce qui fournit un contexte plus clair à chaque unité.

Vous avez parcouru l’auto-attention : transformer les mots en requêtes, clés et valeurs, évaluer, mettre à l’échelle, appliquer softmax, puis combiner les valeurs. Voilà le moteur. ⚙️