Sovrapporre un blocco encoder Transformer

Un transformer è semplicemente un blocco encoder ripetuto. Imparando il blocco, si comprende l’intera architettura, dai modelli più piccoli a quelli più grandi.

Ogni blocco ha due parti: un sottolivello di multi-head attention, seguito da una piccola rete feedforward. Entrambi sono racchiusi da connessioni residuali e normalizzazione.

Il blocco inizia con la self-attention, che consente a ogni token di incorporare il contesto dal resto della sequenza prima di qualsiasi ulteriore elaborazione.

Una connessione residuale somma l’input del sottolivello al suo output. Questa scorciatoia consente ai gradienti di propagarsi e mantiene addestrabili le architetture profonde.

Dopo aver aggiunto la connessione residuale, la layer norm ridimensiona le caratteristiche di ogni token secondo una distribuzione stabile, rendendo più regolare l’addestramento tra i livelli.

Segue una rete feedforward indipendente dalla posizione: si espande fino a una dimensione nascosta più ampia, si applica una non linearità e poi si proietta nuovamente verso il basso.

Il livello feedforward tratta ogni token indipendentemente. L’attention ha condiviso le informazioni; questo passaggio perfeziona ogni token separatamente.

L’output feedforward riceve lo stesso trattamento: una somma residuale più un’altra layer norm, completando il blocco.

Impilando molti blocchi identici, il modello costruisce rappresentazioni più ricche livello dopo livello. La profondità è alla base della potenza dei transformer.

Molti modelli moderni applicano la normalizzazione dei livelli prima di ogni sottolivello invece che dopo. La pre-normalizzazione garantisce un addestramento più stabile nelle architetture molto profonde.

PyTorch mette a disposizione nn.TransformerEncoderLayer e nn.TransformerEncoder, così può assemblare un'intera pila in appena un paio di righe.

Ha assemblato un blocco encoder: attenzione, connessione residua, normalizzazione, rete feedforward, connessione residua, normalizzazione. Ne impili diversi in profondità e ottiene un transformer. Ottimo lavoro!