수치 안정성의 상충 관계

낮은 정밀도의 텐서 코어 연산은 빠르지만 비트 수가 적으면 반올림 오류가 발생합니다. 수치적 안정성이란 결과를 신뢰할 수 있게 유지하는 방법입니다. ⚖️

각 낮은 정밀도의 값은 표현 가능한 가장 가까운 숫자로 반올림됩니다. 이 작은 반올림 오류는 한 번 발생할 때는 무해하지만 여러 단계에서 누적될 수 있습니다.

FP16의 좁은 범위에서는 작은 숫자가 0으로 떨어질 수 있으며 이를 언더플로라고 합니다. 학습 중 그래디언트와 아주 작은 가중치가 사라질 수 있습니다.

같은 좁은 범위 때문에 오버플로도 발생합니다. 큰 값이 무한대가 되는 현상입니다. 잘못된 합계 하나가 이후의 모든 계산을 망칠 수 있습니다.

일반적인 해결 방법은 손실 스케일링입니다. FP16 연산 전에 값을 키워 언더플로 영역을 벗어나게 한 다음, 연산이 끝나면 다시 축소합니다.

Tensor Core가 FP32로 누적하는 데에는 이유가 있습니다. 더 넓은 누산기가 수천 번의 작은 덧셈으로 인해 값이 크게 어긋나는 것을 막아 줍니다.

BF16은 FP32의 지수를 유지하므로 오버플로 또는 언더플로가 거의 발생하지 않습니다. BF16의 약점은 범위가 줄어드는 것이 아니라 정밀도가 낮다는 점입니다.

서로 가까운 두 수를 빼면 앞쪽 자릿수가 사라지는데, 이를 상쇄라고 합니다. 정밀도가 낮으면 남은 오차가 훨씬 더 뚜렷해집니다.

안전한 패턴은 혼합 정밀도입니다. 대량의 곱셈은 FP16 또는 BF16으로 수행하되, 민감한 합계와 노름, 업데이트는 FP32로 유지합니다.

빠른 커널이 올바르다고 절대 가정하지 마십시오. FP32 참조값과 비교하고 오차가 허용 가능한 허용 오차 범위 안에 있는지 확인하십시오.

간단한 확인 방법은 신뢰할 수 있는 결과와의 절대 차이를 구하는 것입니다. 이 오차를 직접 정한 작은 임계값과 비교하십시오.

정밀도에 따른 장단점을 배웠습니다. FP16 오버플로와 언더플로를 주의하고, 손실 스케일링과 FP32 누적을 사용하며, 항상 참조값과 비교해 검증하십시오. 🎯