혼합 정밀도: FP16, BF16, TF32

텐서 코어는 혼합 정밀도를 통해 속도를 얻습니다. 더 작은 숫자 형식을 입력하면 하드웨어가 매 주기마다 훨씬 더 많은 연산을 수행할 수 있습니다. ⚡

표준 FP32는 값 하나에 32비트를 사용합니다. 정확하지만 무겁기 때문에 많은 FP32 값을 이동하고 곱하는 데 대역폭과 시간이 많이 듭니다.

FP16은 16비트만 사용합니다. 지수부가 더 작고 가수부 비트도 더 적습니다. 크기가 절반이므로 더 많은 값을 한 번에 이동하고 곱할 수 있습니다.

FP16은 공간을 절약하지만 좁은 지수부 때문에 동적 범위가 매우 작습니다. 매우 크거나 작은 값은 오버플로가 발생하거나 0으로 사라질 수 있습니다.

BF16도 16비트이지만 FP32의 전체 지수 범위를 유지하고 대신 가수부 비트를 줄입니다. 정밀도는 낮지만 FP32와 같은 범위를 제공합니다.

BF16은 FP32의 넓은 범위를 공유하므로 그래디언트가 거의 오버플로되지 않습니다. 따라서 대규모 신경망을 안전하게 학습할 때 BF16이 선호됩니다.

TF32는 19비트 텐서 코어 형식으로, FP32의 지수부와 줄어든 가수부를 사용합니다. 코드에서는 FP32처럼 보이면서 연산 속도를 높입니다.

입력 형식과 관계없이 텐서 코어는 대개 부분합을 FP32로 누산합니다. 속도는 입력에서 얻고 안정성은 누적 합계에서 얻습니다.

핵심은 다음과 같습니다. FP16과 BF16은 모두 16비트를 사용하지만 비트를 서로 다르게 나눕니다. 하나는 정밀도를, 다른 하나는 범위를 우선합니다.

범위가 중요하면 BF16 또는 TF32를 사용하고, 스케일링을 관리할 수 있다면 FP16을 사용하십시오. 적절한 형식은 단순히 속도가 아니라 데이터에 따라 결정됩니다.

CUDA C++에서 FP16 형식에는 짧은 이름이 있습니다. 이 줄은 텐서 코어 연산에 사용할 half 값 하나를 선언합니다.

16비트만으로 FP32의 전체 지수 범위를 유지하는 형식은 무엇입니까?

혼합 정밀도가 비트를 처리량과 교환하는 방식을 살펴보았습니다. FP16은 정밀도를, BF16은 범위를 우선하며 TF32는 FP32 방식의 연산을 가속합니다. 넓은 정밀도의 누산이 결과를 안전하게 유지합니다. ✨