All'interno del blocco Transformer

Un Transformer si costruisce impilando lo stesso blocco molte volte. Ogni blocco perfeziona un po' di più la rappresentazione. 🧱

Ogni blocco ha due parti: un sottolivello di multi-head attention seguito da una piccola rete feed-forward applicata a ogni posizione.

Il sottolivello feed-forward è composto da due livelli lineari con una non linearità tra loro e processa ogni token in modo indipendente per aumentare la capacità del modello.

Ogni sottolivello avvolge il proprio input in una connessione residuale: somma nuovamente l'input all'output, così i gradienti fluiscono e non si perde alcuna informazione.

Dopo aver aggiunto il residuo, la normalizzazione del livello ridimensiona i valori. Questo mantiene stabili le attivazioni e accelera l'addestramento.

Una pila di encoder legge l'input e costruisce ricchi vettori di contesto. Usa la self-attention, così ogni token può vedere tutti gli altri.

Un decoder genera l'output un token alla volta. Aggiunge l'attenzione mascherata e la cross-attention verso l'encoder.

Durante la generazione, il masking nasconde i token futuri, così il decoder non può sbirciare in anticipo e deve prevedere onestamente la parola successiva.

La cross-attention permette al decoder di interrogare gli output dell'encoder, collegando ciò che sta scrivendo a ciò che ha letto inizialmente.

Impilare molti blocchi permette ai primi livelli di individuare schemi semplici e ai livelli successivi di costruire un significato astratto, proprio come nelle reti profonde per la visione.

BERT usa solo l'encoder, GPT usa solo il decoder e i modelli di traduzione usano entrambi. Il blocco è l'unità costruttiva condivisa. 🚀

Ha assemblato il blocco Transformer: attenzione più feed-forward, racchiuse in connessioni residuali e layer norm, impilate in encoder e decoder. ✨