A API do calculador de ocupação

Em vez de ajustar manualmente, o CUDA oferece uma API de ocupação que calcula automaticamente um bom tamanho de bloco para o seu kernel.

Uma chamada faz o trabalho pesado: cudaOccupancyMaxPotentialBlockSize sugere um tamanho de bloco que maximiza a ocupação.

Ela preenche um tamanho de bloco sugerido e o tamanho mínimo da grade necessário para ocupar completamente o dispositivo com o seu kernel.

A API lê o uso real de registradores e memória compartilhada do seu kernel, portanto a sugestão se ajusta a esse kernel específico, e não a uma suposição genérica.

Uma chamada relacionada informa quantos blocos ativos por SM uma configuração oferece, para que você possa prever a ocupação antes do lançamento.

Multiplique os blocos por SM pelas warps por bloco, divida pelo número máximo de warps do SM e você obterá a porcentagem de ocupação teórica.

Essas chamadas recebem um argumento de memória compartilhada dinâmica, mantendo a previsão precisa quando o seu kernel define o tamanho da memória compartilhada no lançamento.

Como consulta o dispositivo em execução, o mesmo código escolhe bons tamanhos em GPUs diferentes, sem que você precise codificar números fixos.

Chame a API de ocupação uma vez durante a inicialização, armazene o tamanho do bloco e reutilize-o em cada lançamento desse kernel.

O tamanho sugerido é um excelente ponto de partida. Ainda assim, você pode testar alguns tamanhos próximos para encontrar o melhor de fato para os seus dados.

Tamanhos codificados, como 256, deixam de funcionar quando os recursos mudam. A API se adapta e mantém automaticamente o seu kernel próximo da ocupação máxima.

Você conheceu a API de ocupação: ela sugere um tamanho de bloco portátil e ciente do kernel, além de prever a ocupação antes mesmo do lançamento. ⚙️