CUDA란 실제로 무엇인가

GPU가 빠른 이유를 살펴보았습니다. CUDA는 C++로 GPU용 코드를 직접 작성하게 해 주는 도구입니다. 이제 제대로 알아보겠습니다. 🚀

CUDA는 범용 GPU 컴퓨팅을 위한 NVIDIA의 플랫폼입니다. 그래픽뿐 아니라 직접 작성한 프로그램도 GPU에서 실행할 수 있게 해 줍니다.

CUDA C++는 몇 가지 키워드와 함수를 추가한 C++일 뿐입니다. C++를 알고 있다면 CUDA의 대부분은 처음부터 익숙하게 느껴질 것입니다.

GPU에서 실행하도록 표시한 함수를 커널이라고 합니다. 수천 개의 스레드가 각각 하나의 함수를 병렬로 실행합니다.

이 __global__ 표시는 함수를 커널로 지정합니다. CPU에서 호출할 수 있지만 GPU에서 실행됩니다. GPU라는 장치로 들어가는 관문입니다.

CUDA에서는 CPU 쪽을 호스트, GPU 쪽을 장치라고 합니다. 이 두 단어를 계속 듣게 될 테니 지금 확실히 익혀 두세요.

CUDA는 GPU 메모리를 관리하고 데이터를 이동해 주는 cudaMalloc, cudaMemcpy 같은 함수가 포함된 편리한 런타임 API를 제공합니다.

nvcc로 CUDA 코드를 빌드합니다. nvcc는 파일을 나누어 호스트 코드는 일반 컴파일러로, 장치 코드는 GPU 컴파일러로 보냅니다.

CUDA는 NVIDIA GPU에서만 실행됩니다. 이러한 긴밀한 결합 덕분에 매우 잘 최적화되어 있지만, 특정 제조업체에 종속되기도 합니다.

CUDA에는 행렬용 cuBLAS와 딥 러닝용 cuDNN 같은 최적화된 라이브러리가 포함되어 있으므로 어려운 문제를 처음부터 직접 해결하는 경우가 드뭅니다.

성숙한 도구, 빠른 라이브러리, 폭넓은 생태계 지원 덕분에 CUDA는 오늘날 과학 및 AI 분야에서 GPU 컴퓨팅을 수행하는 기본 방식이 되었습니다.

CUDA는 커널, 런타임 API, nvcc 컴파일러를 통해 C++를 확장하고 코드가 GPU에서 실행되도록 하는 NVIDIA의 플랫폼입니다. 👍