전역 메모리의 절충점

전역 메모리는 GPU의 주 DRAM으로, 용량이 수 기가바이트에 이르는 경우가 많습니다. 커널 실행 중 큰 입력 및 출력 배열이 자연스럽게 저장되는 곳입니다.

모든 블록의 모든 스레드가 전역 메모리를 읽고 쓸 수 있습니다. 데이터를 실행 전에 이곳으로 복사하는 이유가 바로 이러한 공유 가시성 때문입니다. 🌍

호스트에서 cudaMalloc을 사용해 전역 메모리를 예약하면 해당 DRAM 영역을 가리키는 디바이스 포인터를 받습니다.

문제는 지연 시간입니다. 한 번의 전역 메모리 읽기에는 수백 클록 주기가 걸릴 수 있어 레지스터 접근보다 훨씬 느립니다.

많은 커널은 연산이 아니라 DRAM에서 바이트가 이동하는 속도에 의해 제한됩니다. 이러한 커널을 메모리 제한 커널이라고 합니다.

한 워프가 기다리는 동안 GPU는 다른 준비된 워프로 전환하여 느린 읽기를 숨깁니다. 이러한 지연 시간 숨기기 때문에 많은 스레드를 갖는 것이 매우 중요합니다.

전역 메모리의 데이터는 해제할 때까지 커널 실행 사이에 그대로 유지됩니다. 동일한 버퍼에 대해 여러 커널을 실행할 수 있습니다.

통합 L2 캐시가 GPU 전체의 전역 메모리 앞에 있습니다. 재사용되는 주소는 느린 DRAM 대신 이 캐시에서 제공될 수 있습니다.

스레드가 주소에 매핑되는 방식은 처리량에 큰 영향을 줍니다. 인접한 스레드가 인접한 주소에 접근하는 방식을 이후 학습 내용에서는 코얼레싱이라고 합니다.

핵심 전략은 간단합니다. 전역 메모리에 가능한 한 적게 접근하세요. 한 번 읽고, 칩 내부에서 재사용한 다음, 한 번 쓰면 됩니다.

전역 메모리는 유한한 자원이므로 사용이 끝나면 cudaFree로 해제하여 디바이스 메모리 누수를 방지하세요.

이제 전역 메모리가 GPU의 크고 모두에게 보이는 DRAM이며, 용량을 얻는 대신 높은 지연 시간을 감수해야 한다는 것을 알게 되었습니다. 전역 메모리에는 적게 접근하고 데이터는 칩 내부에서 재사용하세요. 🚀