Escolha o número de threads por bloco

Ao iniciar um núcleo, você precisa escolher quantas threads por bloco usará. Essa pequena escolha afeta o desempenho real. 🎚️

A GPU executa threads em grupos de 32 chamados warps, portanto escolha sempre um múltiplo de 32. Tamanhos ímpares desperdiçam lanes em um warp parcial.

Boas primeiras tentativas são 128 ou 256 threads por bloco. Elas são múltiplos de 32 e funcionam bem em quase todas as GPU.

Um bloco pode conter no máximo 1024 threads nas GPU atuais. Se você solicitar mais, a execução simplesmente falhará com um erro.

Blocos muito pequenos, como os de 32 threads, podem deixar a GPU subutilizada. O escalonador terá menos warps para ocultar a latência da memória.

Blocos enormes podem ficar sem registradores ou memória compartilhada, fazendo com que menos blocos caibam por multiprocessador. Maior nem sempre é melhor.

Depois de definir a quantidade de threads por bloco, arredonde para cima a quantidade de blocos para cobrir cada elemento, mesmo quando a divisão não for exata.

Arredondar para cima significa que existirão algumas threads extras. Proteja seu núcleo com um if para que elas não acessem memória além do fim da matriz.

Você pode pedir automaticamente a CUDA um bom tamanho de bloco usando o auxiliar de ocupação e, depois, ajustar a partir da sugestão.

O melhor tamanho depende realmente do seu núcleo e da sua GPU. Comece com 256, faça um benchmark de alguns valores e mantenha o mais rápido.

Para a maioria dos núcleos de iniciantes, 256 threads por bloco junto com uma quantidade de blocos arredondada para cima é um ponto de partida confiável e rápido.

Você aprendeu a dimensionar blocos: usar múltiplos de 32, adotar 256 como padrão, ficar abaixo de 1024, arredondar para cima a quantidade de blocos e fazer benchmark. 🏁