Blandad precision: FP16, BF16, TF32

Tensor Cores får sin hastighet från blandad precision: mindre talformat som gör att hårdvaran kan utföra betydligt fler beräkningar per cykel. ⚡

Standardformatet FP32 använder 32 bitar per värde. Det är noggrant men tungt, så att flytta och multiplicera många FP32-tal kräver bandbredd och tid.

FP16 använder bara 16 bitar: en mindre exponent och färre mantissabitar. Halva storleken innebär att fler värden kan flyttas och multipliceras samtidigt.

FP16 sparar utrymme, men den begränsade exponenten ger ett litet dynamiskt intervall. Mycket stora eller mycket små värden kan flöda över eller försvinna till noll.

BF16 har också 16 bitar, men behåller FP32:s fullständiga exponent och offrar i stället mantissabitar. Det ger FP32:s intervall med lägre precision.

Eftersom BF16 delar FP32:s breda intervall flödar gradienter sällan över. Därför är BF16 populärt för säker träning av stora neurala nätverk.

TF32 är ett 19-bitarsformat för Tensor Cores: FP32:s exponent med en kortare mantissa. Det snabbar upp beräkningarna samtidigt som det ser ut som FP32 för koden.

Oavsett indatasformat ackumulerar Tensor Cores vanligtvis delsummor i FP32. Hastigheten finns i indatan; säkerheten i den löpande totalsumman.

Huvudidén är att FP16 och BF16 kostar samma 16 bitar men fördelar dem på olika sätt. Det ena gynnar precision, det andra intervall.

Använd BF16 eller TF32 när intervallet är viktigt, och FP16 när Ni kan hantera skalning. Rätt format beror på Era data, inte bara på hastigheten.

I CUDA C++ har typen FP16 ett kort namn. Den här raden deklarerar ett half-värde som är klart för Tensor Core-beräkningar.

Ni såg hur blandad precision byter bitar mot genomströmning: FP16 gynnar precision, BF16 intervall och TF32 snabbar upp FP32-liknande beräkningar. Bred ackumulering håller resultaten säkra. ✨