Afvejninger ved numerisk stabilitet

Tensor Core-beregninger med lavere præcision er hurtige, men færre bit betyder afrundingsfejl. Numerisk stabilitet handler om at holde resultaterne pålidelige. ⚖️

Hver værdi med lav præcision afrundes til det nærmeste tal, der kan repræsenteres. Den lille afrundingsfejl er harmløs én gang, men kan ophobe sig over mange trin.

FP16's smalle område får små tal til at falde til nul, hvilket kaldes underløb. Gradienter og meget små vægte kan ganske enkelt forsvinde under træningen.

Det samme smalle område forårsager overløb: En stor værdi bliver til uendelig. Én forkert sum kan derefter ødelægge alt efterfølgende.

En almindelig løsning er loss scaling: gang værdierne op før FP16-beregninger, så de kommer ud af underflow-området, og skaler dem derefter ned igen.

Tensor Cores akkumulerer i FP32 af en grund. Den bredere akkumulator forhindrer, at tusindvis af små additioner driver for langt.

Fordi BF16 bevarer FP32's eksponent, løber den sjældent over eller under. Svagheden er lavere præcision, ikke et mindre talområde.

Når to tal, der ligger tæt på hinanden, trækkes fra hinanden, forsvinder de forreste cifre. Det kaldes annullering. Lav præcision gør den resterende fejl langt mere synlig.

Et sikkert mønster er blandet præcision: udfør de mange multiplikationer i FP16 eller BF16, men behold følsomme summer, normer og opdateringer i FP32.

Antag aldrig, at en hurtig kerne er korrekt. Sammenlign med en FP32-reference, og kontrollér, at fejlen holder sig inden for en acceptabel tolerance.

En enkel kontrol er den absolutte forskel i forhold til et pålideligt resultat. Sammenlign denne fejl med en lille tærskel, du selv vælger.

Du har lært om afvejninger ved præcision: vær opmærksom på overflow og underflow i FP16, brug loss scaling og FP32-akkumulering, og validér altid mod en reference. 🎯