Compromis de stabilité numérique

Les calculs avec les Tensor Cores en faible précision sont rapides, mais moins de bits signifie davantage d’erreurs d’arrondi. La stabilité numérique consiste à préserver la fiabilité des résultats. ⚖️

Chaque valeur en faible précision est arrondie au nombre représentable le plus proche. Cette petite erreur d’arrondi est inoffensive une fois, mais peut s’accumuler au fil de nombreuses étapes.

La plage étroite de FP16 permet aux petits nombres de devenir nuls : c’est le sous-dépassement. Les gradients et les poids minuscules peuvent tout simplement disparaître pendant l’entraînement.

La même plage étroite provoque un dépassement : une grande valeur devient l’infini. Une seule somme incorrecte peut alors contaminer tous les calculs en aval.

Une solution courante est le mise à l'échelle de la perte : augmentez les valeurs avant les calculs en FP16 afin qu'elles sortent de la zone de sous-débordement, puis réduisez-les à nouveau après.

Les Tensor Cores accumulent en FP32 pour une bonne raison. Cet accumulateur plus large empêche des milliers de petites additions de dériver fortement.

Comme BF16 conserve l'exposant de FP32, il déborde rarement, que ce soit par le haut ou par le bas. Sa faiblesse est une précision moindre, et non une plage réduite.

Soustraire deux nombres proches élimine les chiffres de tête, ce que l'on appelle l'annulation. Une faible précision rend l'erreur restante bien plus visible.

Une approche sûre est la précision mixte : effectuez les multiplications principales en FP16 ou BF16, mais conservez les sommes, normes et mises à jour sensibles en FP32.

Ne supposez jamais qu'un kernel rapide est correct. Comparez-le à une référence en FP32 et vérifiez que l'erreur reste dans une tolérance acceptable.

Un contrôle simple consiste à calculer la différence absolue par rapport à un résultat de confiance. Comparez cette erreur à un petit seuil que vous choisissez.

Pourquoi les Tensor Cores accumulent-ils les sommes partielles en FP32 même lorsque les entrées sont en FP16 ?

Vous avez appris les compromis liés à la précision : surveillez les débordements et sous-débordements de FP16, utilisez la mise à l'échelle de la perte et l'accumulation en FP32, et validez toujours les résultats par rapport à une référence. 🎯