Компромиссы численной устойчивости

Математика Tensor Core с пониженной точностью выполняется быстро, но меньшее количество бит означает больше ошибок округления. Численная устойчивость — это искусство сохранять достоверность результатов. ⚖️

Каждое значение низкой точности округляется до ближайшего представимого числа. Одна такая небольшая ошибка округления безвредна, но за множество шагов ошибки могут накапливаться.

Узкий диапазон FP16 позволяет малым числам превратиться в ноль — это называется потерей значимости. Градиенты и очень маленькие веса могут просто исчезнуть во время обучения.

Тот же узкий диапазон вызывает переполнение: большое значение превращается в бесконечность. Одна неверная сумма может затем испортить все последующие вычисления.

Распространённое решение — масштабирование функции потерь: увеличить значения перед вычислениями FP16, чтобы вывести их из зоны потери значимости, а затем уменьшить масштаб обратно.

Tensor Core накапливают значения в FP32 не случайно. Такой широкий накопитель предотвращает сильное смещение результата при сложении тысяч малых значений.

Поскольку BF16 сохраняет экспоненту FP32, переполнение и потеря значимости происходят редко. Его слабое место — меньшая точность, а не уменьшенный диапазон.

Вычитание двух близких чисел уничтожает старшие разряды — это называется потерей значимости. Низкая точность делает оставшуюся ошибку гораздо заметнее.

Безопасный подход — смешанная точность: выполнять основные умножения в FP16 или BF16, но чувствительные суммы, нормы и обновления хранить в FP32.

Никогда не считайте быстрое ядро правильным без проверки. Сравните его с эталоном FP32 и убедитесь, что ошибка остаётся в допустимых пределах.

Простая проверка — вычислить абсолютную разницу с надёжным результатом. Сравните эту ошибку с выбранным небольшим порогом.

Вы узнали о компромиссах точности: следите за переполнением и потерей значимости в FP16, используйте масштабирование функции потерь и накопление в FP32, а также всегда сравнивайте результат с эталоном. 🎯