블록당 스레드 수 선택하기

커널을 실행할 때 사용할 블록당 스레드 수를 정해야 합니다. 이 작은 선택이 실제 성능에 영향을 줍니다. 🎚️

GPU는 스레드를 32개씩 묶은 워프로 실행하므로 항상 32의 배수를 선택하십시오. 홀수 크기를 선택하면 불완전한 워프에서 실행 슬롯이 낭비됩니다.

처음에는 블록당 스레드 수로 128 또는 256을 선택하는 것이 좋습니다. 둘 다 32의 배수이며 거의 모든 GPU에서 잘 작동합니다.

현재 GPU에서 블록 하나에는 최대 1024개의 스레드가 들어갈 수 있습니다. 더 많이 요청하면 오류와 함께 실행이 실패합니다.

32개처럼 매우 작은 블록은 GPU를 충분히 활용하지 못하게 할 수 있습니다. 스케줄러가 메모리 지연 시간을 숨기는 데 사용할 워프가 줄어들기 때문입니다.

큰 블록은 레지스터나 공유 메모리를 모두 사용할 수 있어 멀티프로세서당 배치되는 블록 수가 줄어들 수 있습니다. 크다고 항상 더 좋은 것은 아닙니다.

블록당 스레드 수를 정한 다음, 모든 요소가 처리되도록 블록 수를 올림하여 계산하십시오. 정확히 나누어떨어지지 않아도 됩니다.

올림하면 여분의 스레드가 몇 개 생깁니다. 배열의 범위를 벗어난 메모리에 접근하지 않도록 if문으로 커널을 보호하십시오.

점유율 도우미를 사용해 CUDA에 적절한 블록 크기를 자동으로 제안하게 한 다음, 그 제안을 기준으로 조정할 수 있습니다.

정말 가장 좋은 크기는 커널과 GPU에 따라 다릅니다. 256에서 시작한 다음 몇 가지 값을 벤치마크하고 가장 빠른 값을 선택하십시오.

대부분의 초보자용 커널에서는 블록당 스레드 256개와 올림한 블록 수를 사용하는 것이 안정적이고 빠른 시작점입니다.

블록당 스레드 수로 가장 적절한 선택을 고르십시오.

블록 크기를 정하는 방법을 배웠습니다. 32의 배수를 사용하고, 기본값으로 256을 선택하며, 1024 미만을 유지하고, 블록 수를 올림한 뒤 벤치마크하십시오. 🏁