텐서 코어의 연산

텐서 코어는 최신 NVIDIA GPU에 탑재된 특수 하드웨어 단위로, 작은 행렬 연산이라는 한 가지 작업을 매우 빠르게 수행하도록 설계되었습니다. 🚀

텐서 코어는 D = A 곱하기 B 더하기 C로 표현되는 행렬 곱셈-누산을 계산합니다. 곱셈과 덧셈 전체를 한 번에 수행합니다.

텐서 코어는 숫자 하나 대신 매 주기마다 작은 행렬 타일을 처리합니다. 그래서 일반 코어가 원소별로 수행하는 작업을 훨씬 빠르게 처리할 수 있습니다.

곱셈과 덧셈이 융합된 형태로 수행되므로 중간 곱셈 결과가 따로 반올림되지 않습니다. 두 단계를 분리해 수행하는 것보다 정확도가 높습니다.

딥러닝과 그래픽스에는 행렬 곱셈이 가득합니다. 텐서 코어가 존재하는 이유는 수많은 실제 작업에서 이 연산이 큰 비중을 차지하기 때문입니다.

D = A 곱하기 B 더하기 C의 C를 사용하면 누적 합계를 유지할 수 있습니다. 이 누산기를 통해 여러 작은 타일로부터 큰 결과를 만듭니다.

행렬 연산에서 텐서 코어는 일반 CUDA 코어보다 몇 배나 높은 처리량을 낼 수 있습니다. 하나의 명령어에 전체 타일 곱셈을 담기 때문입니다.

텐서 코어는 낮은 정밀도의 입력을 받으면서도 더 높은 정밀도의 누산기를 사용하는 경우가 많습니다. 곱셈에서는 속도를, 누적 합에서는 안정성을 얻을 수 있습니다.

텐서 코어는 Volta 아키텍처와 함께 등장했으며 Turing, Ampere, Hopper와 함께 발전했습니다. 세대가 거듭될수록 타일을 확장하고 더 많은 형식을 추가했습니다.

텐서 코어는 작업이 행렬 곱셈과 비슷할 때만 도움이 됩니다. 단순한 벡터 덧셈이나 스칼라 반복문에서는 전혀 사용되지 않습니다.

라이브러리나 WMMA API를 통해 텐서 코어에 접근합니다. 이 호출 형태가 나중에 작성할 곱셈-누산입니다.

텐서 코어가 타일 크기의 전체 행렬 곱셈-누산을 빠른 한 단계로 융합한다는 것을 배웠습니다. 이는 딥러닝의 기반이 되는 행렬 연산에 적합합니다. 다음 주제는 정밀도 형식입니다. 🎉