Kompromisy stabilności numerycznej

Obliczenia na Tensor Cores z niższą precyzją są szybkie, ale mniejsza liczba bitów oznacza błędy zaokrągleń. Stabilność numeryczna polega na utrzymywaniu wiarygodności wyników. ⚖️

Każda wartość o niskiej precyzji jest zaokrąglana do najbliższej reprezentowalnej liczby. Ten niewielki błąd zaokrąglenia jest niegroźny raz, ale może narastać przez wiele kroków.

Wąski zakres FP16 sprawia, że małe liczby mogą spaść do zera — zjawisko to nazywa się niedomiarem. Gradienty i niewielkie wagi mogą po prostu zniknąć podczas trenowania.

Ten sam wąski zakres powoduje przepełnienie: duża wartość staje się nieskończonością. Jedna błędna suma może następnie zaburzyć wszystkie dalsze obliczenia.

Typowym rozwiązaniem jest skalowanie straty: przed obliczeniami FP16 zwiększa się wartości, aby wyszły ze strefy niedomiaru, a następnie skaluje z powrotem w dół.

Tensor Cores wykonują akumulację w FP32 nie bez powodu. Taki szerszy akumulator zapobiega znacznemu rozchodzeniu się tysięcy małych sum.

Ponieważ BF16 zachowuje wykładnik FP32, rzadko dochodzi w nim do przepełnienia lub niedomiaru. Jego słabością jest mniejsza precyzja, a nie zawężony zakres.

Odejmowanie dwóch podobnych liczb usuwa początkowe cyfry — zjawisko to nazywa się utratą cyfr znaczących. Niska precyzja sprawia, że pozostały błąd jest znacznie bardziej widoczny.

Bezpiecznym wzorcem jest mieszana precyzja: wykonuj masowe mnożenia w FP16 lub BF16, ale wrażliwe sumy, normy i aktualizacje pozostaw w FP32.

Nigdy nie zakładaj, że szybkie jądro działa poprawnie. Porównaj wynik z wartością referencyjną FP32 i sprawdź, czy błąd mieści się w akceptowalnej tolerancji.

Prostym sprawdzeniem jest porównanie wartości bezwzględnej różnicy z zaufanym wynikiem. Porównaj ten błąd z wybranym przez siebie małym progiem.

Poznałeś kompromisy związane z precyzją: uważaj na przepełnienie i niedomiar FP16, stosuj skalowanie straty oraz akumulację w FP32 i zawsze porównuj wynik z wartością referencyjną. 🎯