À l’intérieur du bloc Transformer

Un transformeur est construit en empilant plusieurs fois le même bloc. Chaque bloc affine un peu plus la représentation. 🧱

Chaque bloc comporte deux parties : une sous-couche d’attention multi-tête, suivie d’un petit réseau à propagation avant appliqué à chaque position.

La sous-couche à propagation avant se compose de deux couches linéaires séparées par une non-linéarité. Elle traite chaque unité indépendamment pour accroître la puissance du modèle.

Chaque sous-couche enveloppe son entrée dans une connexion résiduelle : ajoutez l’entrée à la sortie afin de laisser circuler les gradients et de ne rien perdre.

Après l’ajout du résidu, la normalisation de couche remet les valeurs à l’échelle. Les activations restent ainsi stables et l’entraînement est accéléré.

Un empilement d’encodeurs lit l’entrée et construit des vecteurs de contexte riches. Il utilise l’auto-attention afin que chaque unité voie toutes les autres.

Un décodeur génère la sortie une unité à la fois. Il ajoute une attention masquée ainsi qu’une attention croisée vers l’encodeur.

Lors de la génération, le masquage dissimule les unités futures afin que le décodeur ne puisse pas regarder à l’avance et doive prédire honnêtement le mot suivant.

L’attention croisée permet au décodeur d’interroger les sorties de l’encodeur, reliant ce qu’il écrit à ce qu’il a lu à l’origine.

L’empilement de nombreux blocs permet aux premières couches de repérer des schémas simples et aux couches suivantes de construire un sens abstrait, comme dans les réseaux profonds de vision.

BERT utilise uniquement l’encodeur, GPT uniquement le décodeur, et les modèles de traduction utilisent les deux. Le bloc est l’unité de construction commune. 🚀

Vous avez assemblé le bloc du transformeur : attention et propagation avant, entourées de connexions résiduelles et d’une normalisation de couche, puis empilées dans des encodeurs et des décodeurs. ✨