점유율의 실제 의미

각 GPU 코어를 SM이라고 하며, 하나의 SM은 여러 워프를 동시에 상주 상태로 유지할 수 있습니다. 점유율은 이 용량이 실제로 얼마나 채워졌는지를 나타냅니다. 🎯

점유율은 SM에서 활성 상태인 워프 수를 해당 SM이 유지할 수 있는 최대 워프 수로 나눈 비율입니다. 상주 워프가 많을수록 장치가 더 꽉 차게 사용됩니다.

한 워프가 느린 메모리 읽기에서 멈추면 SM은 즉시 다른 준비된 워프를 실행합니다. 이러한 전환으로 GPU가 지연 시간을 숨깁니다.

아키텍처마다 한도가 정해져 있으며, SM당 64개 워프인 경우가 많습니다. 점유율은 커널을 이 하드웨어 한도와 비교합니다.

이론적 점유율은 실행 설정이 이론적으로 허용하는 값입니다. 실제 점유율은 실제로 실행된 정도이며 프로파일러로 측정합니다.

SM이 64개 워프를 유지할 수 있지만 커널이 32개만 상주 상태로 유지한다면 점유율은 50%입니다. 지연 시간 은닉 능력의 절반이 유휴 상태인 셈입니다.

점유율은 단일 스레드가 아니라 항상 워프 단위로 계산합니다. 워프 하나는 32개 스레드이므로 256개 스레드 블록은 정확히 8개 워프입니다.

스케줄러는 상주 상태인 각 블록을 워프로 나눕니다. 따라서 SM당 블록 수에 블록당 워프 수를 곱하면 활성 워프 수가 됩니다.

세 가지 자원이 점유율을 제한합니다. 스레드당 레지스터, 블록당 공유 메모리, SM의 워프 한도입니다. 가장 엄격한 제한이 최종 결과를 결정합니다.

점유율이 높으면 대개 지연 시간을 더 잘 숨길 수 있지만, 어느 지점을 넘으면 추가 이점이 없습니다. 점유율은 도구일 뿐 최종 목표는 아닙니다.

Nsight Compute와 같은 프로파일러는 커널 바로 옆에 실제 점유율을 표시합니다. 이 수치가 튜닝의 출발점입니다.

점유율은 SM 최대치에 대한 활성 워프의 비율이며, 워프 단위로 계산되고 지연 시간 은닉을 가능하게 한다는 것을 배웠습니다. 🚀