AMP를 활용한 혼합 정밀도 학습

혼합 정밀도 학습은 대부분의 연산을 32비트 부동소수점(FP32) 대신 16비트 부동소수점(FP16)으로 실행합니다. FP16은 메모리를 절반만 사용하고 최신 GPU 텐서 코어에서 더 빠르게 실행되지만, 안정성을 위해 민감한 일부 연산은 FP32로 유지됩니다.

혼합 정밀도를 사용하면 다음과 같은 이점이 있습니다:

• 메모리를 약 2배 절약하여 더 큰 배치나 모델을 사용할 수 있습니다
• 텐서 코어에서 행렬 곱셈이 더 빠릅니다
• 올바르게 사용하면 최종 모델 정확도가 거의 또는 전혀 떨어지지 않습니다

FP16은 표현 범위가 좁습니다. 작은 그래디언트 값이 0으로 언더플로되어 학습이 조용히 중단될 수 있습니다. 이것이 혼합 정밀도가 해결해야 하는 핵심 과제이며, 모든 값을 FP16으로 단순 변환할 수 없는 이유입니다.

PyTorch의 Automatic Mixed Precision (AMP)은 두 가지 도구로 세부 사항을 처리합니다. autocast는 연산마다 정밀도를 선택하고, GradScaler는 그래디언트 언더플로를 방지합니다.

순전파를 autocast()로 감싸십시오. 이 안에서 PyTorch는 각 연산을 가장 안전한 정밀도로 자동 실행합니다. 예를 들어 행렬 곱셈은 FP16으로, 소프트맥스와 손실 같은 감소 연산은 FP32로 실행합니다.

GradScaler는 역전파 전에 손실에 큰 스케일 계수를 곱해 언더플로에 대응합니다. 이렇게 하면 작은 그래디언트가 FP16에서 표현 가능한 범위로 이동하며, 최적화기 step 전에 스케일이 제거됩니다.

scaler.scale(loss).backward()는 손실을 크게 조정한 다음 역전파를 실행합니다. 그 결과 그래디언트도 조정되어 작은 값이 사라지지 않게 됩니다.

scaler.step(optimizer)은 먼저 그래디언트를 실제 크기로 되돌린 다음, inf나 NaNs가 나타나지 않은 경우에만 optimizer.step()을 호출합니다. 그래디언트가 오버플로되면 해당 step을 건너뜁니다.

scaler.update()는 다음 반복을 위해 스케일 계수를 조정합니다. step이 성공하면 스케일을 높이고 오버플로가 발생하면 낮춥니다. 이러한 적응형 스케일링은 학습을 자동으로 안정적으로 유지합니다.

이 요소들을 결합하면 완전한 혼합 정밀도 학습 step이 됩니다.

다음 사항을 기억하십시오:

• 스케일 조정된 손실에 대해서만 backward()를 호출하십시오
• autocast는 순전파만 감싸며, 역전파나 최적화기 step은 감싸지 않습니다
• AMP는 텐서 코어 GPU에서 특히 효과적이며, 오래된 하드웨어에서는 이점이 더 작습니다

AMP에 대해 배운 내용을 확인해 보십시오.

AMP를 사용한 혼합 정밀도 학습을 배웠습니다:

• autocast()는 순전파에서 연산마다 FP16 또는 FP32를 선택합니다
• GradScaler는 그래디언트 언더플로를 방지하도록 손실을 스케일 조정합니다
• 주기는 scaler.scale(loss).backward(), scaler.step(optimizer), scaler.update()입니다
• 결과: 메모리를 약 2배 절약하고 학습 속도를 높입니다