Compromessi sulla stabilità numerica

I calcoli sui Tensor Core a precisione ridotta sono veloci, ma meno bit significano più errori di arrotondamento. La stabilità numerica è l'arte di mantenere risultati affidabili. ⚖️

Ogni valore a bassa precisione viene arrotondato al numero rappresentabile più vicino. Questo piccolo errore di arrotondamento è innocuo una volta, ma può accumularsi dopo molti passaggi.

L'intervallo ristretto di FP16 fa sì che i numeri piccoli diventino zero: questo fenomeno si chiama underflow. Durante il training, gradienti e pesi molto piccoli possono semplicemente scomparire.

Lo stesso intervallo ristretto causa l'overflow: un valore grande diventa infinito. Una singola somma errata può quindi compromettere tutti i risultati successivi.

Una soluzione comune è il loss scaling: aumentare i valori prima dei calcoli in FP16, così da portarli fuori dalla zona di underflow, e poi ridimensionarli nuovamente.

I Tensor Core accumulano in FP32 per un motivo preciso. Questo accumulatore più ampio impedisce che migliaia di piccole somme si discostino eccessivamente dal valore corretto.

Poiché BF16 conserva l'esponente di FP32, raramente si verificano overflow o underflow. Il suo punto debole è la minore precisione, non un intervallo ridotto.

Sottrarre due numeri vicini elimina le cifre iniziali: questo fenomeno si chiama cancellazione. La bassa precisione rende molto più evidente l'errore residuo.

Un approccio sicuro è la precisione mista: esegua le moltiplicazioni principali in FP16 o BF16, ma mantenga somme sensibili, norme e aggiornamenti in FP32.

Non dia mai per scontato che un kernel veloce sia corretto. Lo confronti con un riferimento in FP32 e verifichi che l'errore resti entro una tolleranza accettabile.

Un controllo semplice consiste nel calcolare la differenza assoluta rispetto a un risultato attendibile. Confronti questo errore con una soglia bassa scelta da Lei.

Ha appreso i compromessi della precisione: presti attenzione a overflow e underflow in FP16, utilizzi il loss scaling e l'accumulo in FP32, e convalidi sempre il risultato rispetto a un riferimento. 🎯