Precisione mista: FP16, BF16, TF32

I Tensor Core ottengono la loro velocità dalla precisione mista: utilizzano formati numerici più piccoli, così l'hardware può eseguire molti più calcoli per ciclo. ⚡

Il formato standard FP32 utilizza 32 bit per valore. È accurato ma pesante, quindi trasferire e moltiplicare molti valori FP32 consuma banda e tempo.

FP16 utilizza solo 16 bit: un esponente più piccolo e meno bit per la mantissa. Dimensioni dimezzate significano che è possibile trasferire e moltiplicare più valori contemporaneamente.

FP16 consente di risparmiare spazio, ma il suo esponente ristretto offre un intervallo dinamico molto limitato. I valori molto grandi o molto piccoli possono andare in overflow o ridursi a zero.

BF16 utilizza anch'esso 16 bit, ma conserva l'intero esponente di FP32, rinunciando invece a bit della mantissa. Ha l'intervallo di FP32 con una precisione inferiore.

Poiché BF16 condivide l'ampio intervallo di FP32, i gradienti raramente vanno in overflow. Per questo BF16 è molto apprezzato per addestrare in sicurezza reti neurali di grandi dimensioni.

TF32 è un formato Tensor Core a 19 bit: utilizza l'esponente di FP32 con una mantissa ridotta. Accelera i calcoli pur apparendo come FP32 al codice.

Indipendentemente dal formato degli input, i Tensor Core di solito accumulano le somme parziali in FP32. La velocità deriva dagli input; la sicurezza dal totale progressivo.

L'idea fondamentale è questa: FP16 e BF16 utilizzano entrambi 16 bit, ma li distribuiscono in modo diverso. Uno privilegia la precisione, l'altro l'intervallo.

Utilizzi BF16 o TF32 quando l'intervallo è importante, e FP16 quando può gestire lo scaling. Il formato corretto dipende dai dati, non soltanto dalla velocità.

In CUDA C++ il tipo FP16 ha un nome breve. Questa riga dichiara un valore half pronto per i calcoli con i Tensor Core.

Ha visto come la precisione mista scambi bit con throughput: FP16 privilegia la precisione, BF16 l'intervallo e TF32 accelera i calcoli in stile FP32. L'accumulo ad ampia precisione mantiene i risultati sicuri. ✨