Afwegingen rond numerieke stabiliteit

Tensor Core-berekeningen met lagere precisie zijn snel, maar minder bits betekenen afrondingsfouten. Numerieke stabiliteit is de kunst om resultaten betrouwbaar te houden. ⚖️

Elke waarde met lage precisie wordt afgerond naar het dichtstbijzijnde getal dat kan worden weergegeven. Die kleine afrondingsfout is één keer onschadelijk, maar kan zich over veel stappen opstapelen.

Door het beperkte bereik van FP16 kunnen kleine getallen naar nul vallen; dit heet onderloop. Gradiënten en kleine gewichten kunnen tijdens het trainen eenvoudig verdwijnen.

Hetzelfde beperkte bereik veroorzaakt overloop: een grote waarde wordt oneindig. Eén verkeerde som kan vervolgens alles wat daarna komt besmetten.

Een veelgebruikte oplossing is loss scaling: vermenigvuldig waarden vóór FP16-berekeningen zodat ze buiten het underflowgebied komen, en schaal ze daarna weer terug.

Tensor Cores accumuleren om een reden in FP32. Die bredere accumulator voorkomt dat duizenden kleine optellingen sterk gaan afwijken.

Omdat BF16 de exponent van FP32 behoudt, treedt er zelden overflow of underflow op. De zwakte is een lagere precisie, niet een kleiner bereik.

Het aftrekken van twee bijna gelijke getallen wist de voorste cijfers uit; dit heet annulering. Een lage precisie maakt de overblijvende fout veel zichtbaarder.

Een veilige aanpak is gemengde precisie: voer de meeste vermenigvuldigingen uit in FP16 of BF16, maar houd gevoelige sommen, normen en updates in FP32.

Ga er nooit van uit dat een snelle kernel correct is. Vergelijk deze met een FP32-referentie en controleer of de fout binnen een aanvaardbare tolerantie blijft.

Een eenvoudige controle is het absolute verschil met een betrouwbaar resultaat. Vergelijk deze fout met een kleine drempel die je zelf kiest.

Je hebt de afwegingen rond precisie geleerd: let op overflow en underflow in FP16, gebruik loss scaling en accumulatie in FP32, en valideer altijd met een referentie. 🎯