Avveininger for numerisk stabilitet

Tensor Core-matematikk med lavere presisjon er rask, men færre biter betyr avrundingsfeil. Numerisk stabilitet handler om å holde resultatene pålitelige. ⚖️

Hver verdi med lav presisjon avrundes til det nærmeste tallet som kan representeres. Denne lille avrundingsfeilen er ufarlig én gang, men kan hope seg opp over mange trinn.

Det smale området i FP16 gjør at små tall kan bli til null, noe som kalles underflyt. Gradienter og små vekter kan ganske enkelt forsvinne under trening.

Det samme smale området fører til overflyt: En stor verdi blir til uendelig. Én feilaktig sum kan deretter ødelegge alt som følger.

En vanlig løsning er loss scaling: multipliser verdiene opp før FP16-beregninger, slik at de kommer ut av underflytområdet, og skaler dem deretter ned igjen.

Tensor Cores akkumulerer i FP32 av en grunn. Den bredere akkumulatoren hindrer at tusenvis av små addisjoner driver kraftig ut av kurs.

Fordi BF16 beholder eksponenten fra FP32, oppstår overflyt eller underflyt sjelden. Svakheten er lavere presisjon, ikke et mindre tallområde.

Når to tall som ligger nær hverandre trekkes fra hverandre, forsvinner de ledende sifrene. Dette kalles kansellering. Lav presisjon gjør den gjenværende feilen langt mer synlig.

Et trygt mønster er blandet presisjon: utfør de fleste multiplikasjonene i FP16 eller BF16, men behold følsomme summer, normer og oppdateringer i FP32.

Anta aldri at en rask kernel er korrekt. Sammenlign med en FP32-referanse og kontroller at feilen holder seg innenfor en akseptabel toleranse.

En enkel kontroll er den absolutte differansen mot et pålitelig resultat. Sammenlign denne feilen med en liten terskel som du velger.

Du har lært om avveiningene ved presisjon: vær oppmerksom på overflyt og underflyt i FP16, bruk loss scaling og FP32-akkumulering, og valider alltid mot en referanse. 🎯