数値安定性のトレードオフ
低精度で注意が必要な場面
「数値安定性のトレードオフ」はCoddyKit上の無料CUDA Academyレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはCUDA Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 CUDA Academyコースには全4レッスンが含まれています。
このレッスンの一部はまだ翻訳されておらず、英語で表示されています。
Speed Has a Cost
Lower-precision Tensor Core math is fast, but fewer bits mean rounding errors. Numerical stability is the art of keeping results trustworthy. ⚖️
What Rounding Error Is
Each low-precision value is rounded to the nearest representable number. That tiny rounding error is harmless once but can pile up over many steps.
FP16 Underflow
FP16's narrow range lets small numbers fall to zero, called underflow. Gradients and tiny weights can simply disappear during training.
FP16 Overflow
The same narrow range causes overflow: a large value becomes infinity. One bad sum can then poison everything downstream.
Loss Scaling to the Rescue
A common fix is loss scaling: multiply values up before FP16 math so they leave the underflow zone, then scale back down afterward.
Why Wide Accumulation Helps
Tensor Cores accumulate in FP32 for a reason. That wider accumulator stops thousands of small additions from drifting badly.
BF16 Sidesteps Range Issues
Because BF16 keeps FP32's exponent, it rarely overflows or underflows. Its weakness is lower precision, not a shrunken range.
Catastrophic Cancellation
Subtracting two close numbers wipes out leading digits, called cancellation. Low precision makes the surviving error far more visible.
Keep Critical Parts in FP32
A safe pattern is mixed precision: do bulk multiplies in FP16 or BF16 but keep sensitive sums, norms, and updates in FP32.
Always Validate Accuracy
Never assume a fast kernel is correct. Compare against an FP32 reference and check the error stays within an acceptable tolerance.
Measuring the Error
A simple check is the absolute difference against a trusted result. Compare this error to a small threshold you choose.
float err = fabsf(gpu_result - cpu_result);Quick Check
Why do Tensor Cores accumulate partial sums in FP32 even with FP16 inputs?
Recap
You learned the precision tradeoffs: watch for FP16 overflow and underflow, use loss scaling and FP32 accumulation, and always validate against a reference. 🎯
よくある質問
「数値安定性のトレードオフ」レッスンは無料ですか？
はい。「数値安定性のトレードオフ」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、CUDA Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 CUDA Academyコースには全4レッスンが含まれています。
「数値安定性のトレードオフ」で何を学びますか？
低精度で注意が必要な場面 ブラウザで直接実行するハンズオンコードでCUDA Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
CUDA Academyを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのCUDA Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。
「数値安定性のトレードオフ」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このCUDA Academyレッスンでコードを書いて実行できますか？
はい。すべてのCUDA Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。