계층 구조의 개념 모델

GPU 메모리를 피라미드라고 생각해 보세요. 꼭대기는 작지만 매우 빠르고, 바닥은 크지만 느립니다. 각 계층을 잘 사용하는 것이 중요합니다.

정상에는 레지스터가 있습니다. 스레드별로 사용하며 가장 빠르지만 용량이 매우 제한적입니다. 가능하다면 가장 자주 사용하는 작업 값을 여기에 보관하세요.

그 바로 아래에는 공유 메모리가 있습니다. 공유 메모리는 블록의 모든 스레드가 볼 수 있는 칩 내부의 임시 저장 공간입니다. 블록 내부에서 빠르게 협업할 때 사용하는 도구입니다.

옆에는 상수 캐시가 있습니다. 워프가 균일하게 읽고 한 번의 가져오기로 브로드캐스트하는 작은 읽기 전용 값에 적합합니다.

넓은 바닥은 전역 메모리입니다. 용량은 기가바이트 단위이고 모두가 볼 수 있지만 지연 시간이 높습니다. 큰 입력과 출력을 저장합니다.

로컬 메모리에 주의하세요. 가까운 곳처럼 들리지만 느린 DRAM에 있으며 레지스터가 스필될 때만 사용됩니다. 이에 의존하지 않는 것이 좋습니다.

데이터가 필요한 주체에 따라 선택하세요. 한 스레드만 필요로 하면 레지스터를, 함께 작업하는 블록이면 공유 메모리를, 모두가 필요로 하면 전역 메모리를 사용합니다.

커널이 끝나면 레지스터와 공유 메모리는 사라지지만 전역 메모리는 실행 사이에도 유지됩니다. 데이터가 얼마나 오래 존재해야 하는지에 맞춰 저장 공간을 선택하세요.

가장 좋은 패턴은 전역 메모리에서 한 번 로드하고, 빠른 칩 내부 메모리에서 계산한 다음, 결과를 한 번 다시 쓰는 것입니다. 이렇게 하면 느린 전역 메모리 트래픽이 최소화됩니다.

블록당 레지스터나 공유 메모리를 많이 사용하면 동시에 실행할 수 있는 블록 수가 줄어듭니다. 점유율은 계속 조정해야 하는 균형점입니다.

훌륭한 커널은 각 데이터 조각을 적절한 계층으로 의도적으로 보냅니다. 이러한 습관 하나가 느린 코드와 빠른 CUDA 코드를 가르는 기준입니다. 💪

이제 레지스터, 공유 메모리, 상수 메모리, 전역 메모리가 속도와 크기 및 범위 사이에서 어떻게 균형을 이루는지에 대한 지도를 갖게 되었습니다. 데이터를 올바른 계층으로 보내는 것이 핵심입니다. 🧠