Attention multi-têtes et positions

Une seule tête d’attention ne peut suivre qu’un seul type de relation à la fois. La langue réelle exige de repérer de nombreux schémas simultanément. 🧠

L’attention multi-tête exécute plusieurs calculs d’attention en parallèle, chacun avec ses propres projections apprises et son propre centre d’intérêt.

Une tête peut suivre les liens sujet-verbe, tandis qu’une autre suit les pronoms. Ensemble, elles saisissent une représentation bien plus riche de la phrase.

Le modèle répartit la taille de son vecteur entre les têtes, de sorte que chaque tête travaille dans un sous-espace plus petit. Le coût total des calculs reste à peu près le même.

Après que chaque tête a produit une sortie, vous les concaténez, puis transmettez le résultat à une couche linéaire supplémentaire pour mélanger les différents points de vue.

L’auto-attention traite l’entrée comme un ensemble ; à elle seule, elle ne peut donc pas distinguer « dog bites man » de « man bites dog ». Elle est insensible à l’ordre.

Pour corriger cela, nous injectons un codage positionnel dans chaque mot afin que le modèle sache où se trouve chaque unité dans la séquence.

Le transformeur d’origine utilise des ondes fixes de sinus et de cosinus à différentes fréquences pour donner à chaque position une signature unique et régulière.

Les vecteurs de position sont ajoutés aux représentations vectorielles des mots, et non placés à la fin. Chaque unité porte donc à la fois son sens et sa position.

De nombreux modèles modernes remplacent les ondes fixes par des représentations vectorielles de position apprises, entraînées avec le reste du modèle pour plus de flexibilité.

L’attention multi-tête repère de nombreuses relations ; les codages positionnels rétablissent l’ordre. Ensemble, ils permettent au transformeur de réellement comprendre les séquences. ✨

Vous avez vu comment l’attention multi-tête capture de nombreuses relations en parallèle, tandis que les codages positionnels donnent au modèle une notion de l’ordre. 🎯