Смешанная точность: FP16, BF16, TF32

Tensor Core получают скорость благодаря смешанной точности: используются меньшие числовые форматы, поэтому за один такт аппаратное обеспечение выполняет гораздо больше арифметики. ⚡

Стандартный FP32 использует 32 бита на значение. Он точен, но требует много ресурсов, поэтому перемещение и умножение большого количества значений FP32 расходует пропускную способность и время.

FP16 использует всего 16 бит: меньшую экспоненту и меньше бит мантиссы. Половинный размер позволяет одновременно перемещать и умножать больше значений.

FP16 экономит место, но узкая экспонента даёт небольшой динамический диапазон. Очень большие или очень маленькие значения могут переполниться или исчезнуть, превратившись в ноль.

BF16 также занимает 16 бит, но сохраняет полный диапазон экспоненты FP32, жертвуя битами мантиссы. Его диапазон совпадает с FP32, но точность ниже.

Поскольку BF16 имеет широкий диапазон FP32, градиенты редко переполняются. Поэтому BF16 часто выбирают для безопасного обучения больших нейронных сетей.

TF32 — это 19-битный формат Tensor Core: экспонента FP32 с укороченной мантиссой. Он ускоряет вычисления, оставаясь для вашего кода похожим на FP32.

Независимо от формата входных данных Tensor Core обычно накапливают частичные суммы в FP32. Скорость обеспечивают входные данные, а надёжность — текущая сумма.

Главная идея такова: FP16 и BF16 используют одинаковые 16 бит, но распределяют их по-разному. Один формат отдаёт приоритет точности, другой — диапазону.

Используйте BF16 или TF32, когда важен диапазон, а FP16 — когда вы можете управлять масштабированием. Подходящий формат зависит от ваших данных, а не только от скорости.

В CUDA C++ тип FP16 имеет короткое имя. Эта строка объявляет одно значение типа half, готовое для вычислений на Tensor Core.

Вы увидели, как смешанная точность обменивает биты на пропускную способность: FP16 отдаёт приоритет точности, BF16 — диапазону, а TF32 ускоряет вычисления в стиле FP32. Накопление с широким диапазоном сохраняет надёжность результатов. ✨