Gemischte Genauigkeit: FP16, BF16, TF32

Tensor Cores beziehen ihre Geschwindigkeit aus gemischter Präzision: Kleinere Zahlenformate werden eingespeist, damit die Hardware pro Zyklus deutlich mehr Berechnungen ausführen kann. ⚡

Standard-FP32 verwendet 32 Bit pro Wert. Das ist präzise, aber aufwendig. Daher beansprucht das Verschieben und Multiplizieren vieler FP32-Werte Bandbreite und Zeit.

FP16 verwendet nur 16 Bit: einen kleineren Exponenten und weniger Mantissenbits. Durch die halbe Größe können sich mehr Werte gleichzeitig verschieben und multiplizieren lassen.

FP16 spart Speicherplatz, aber der enge Exponent führt zu einem kleinen dynamischen Wertebereich. Sehr große oder sehr kleine Werte können überlaufen oder zu null werden.

BF16 verwendet ebenfalls 16 Bit, behält aber den vollständigen Exponenten von FP32 bei und verzichtet stattdessen auf Mantissenbits. Es bietet den Wertebereich von FP32 bei geringerer Präzision.

Da BF16 denselben großen Wertebereich wie FP32 besitzt, laufen Gradienten nur selten über. Daher ist BF16 eine beliebte Wahl für das sichere Trainieren großer neuronaler Netze.

TF32 ist ein 19-Bit-Format für Tensor Cores: Es verwendet den Exponenten von FP32 mit einer verkürzten Mantisse. Dadurch beschleunigt es Berechnungen und erscheint Ihrem Code gegenüber wie FP32.

Unabhängig vom Eingabeformat akkumulieren Tensor Cores Teilsummen normalerweise in FP32. Die Geschwindigkeit steckt in den Eingaben, die Sicherheit in der laufenden Summe.

Die zentrale Idee: FP16 und BF16 benötigen beide 16 Bit, teilen diese aber unterschiedlich auf. Das eine bevorzugt Präzision, das andere den Wertebereich.

Verwenden Sie BF16 oder TF32, wenn der Wertebereich wichtig ist, und FP16, wenn Sie die Skalierung im Griff haben. Das richtige Format hängt von Ihren Daten ab, nicht nur von der Geschwindigkeit.

In CUDA C++ hat der FP16-Typ einen kurzen Namen. Diese Zeile deklariert einen half-Wert, der für Tensor-Core-Berechnungen bereitsteht.

Sie haben gesehen, wie gemischte Präzision Bits gegen Durchsatz tauscht: FP16 bevorzugt Präzision, BF16 den Wertebereich, und TF32 beschleunigt Berechnungen nach dem Vorbild von FP32. Eine breite Akkumulation hält die Ergebnisse sicher. ✨