API del calculador de ocupación

En lugar de ajustar manualmente, CUDA ofrece una API de ocupación que calcula automáticamente un buen tamaño de bloque para su kernel.

Una llamada hace todo el trabajo: cudaOccupancyMaxPotentialBlockSize sugiere un tamaño de bloque que maximiza la ocupación.

Rellena un tamaño de bloque sugerido y el tamaño mínimo de grid necesario para ocupar por completo el dispositivo con su kernel.

La API lee el uso real de registros y memoria compartida de su kernel, por lo que la sugerencia se ajusta a ese kernel concreto y no a una estimación genérica.

Una llamada relacionada indica cuántos bloques activos por SM proporciona una configuración, para que pueda predecir la ocupación antes del lanzamiento.

Multiplique los bloques por SM por los warps por bloque y divida el resultado entre el máximo de warps del SM para obtener el porcentaje de ocupación teórica.

Estas llamadas aceptan un argumento de memoria compartida dinámica, por lo que la predicción sigue siendo precisa cuando el kernel establece el tamaño de la memoria compartida durante el lanzamiento.

Como consulta el dispositivo en ejecución, el mismo código elige buenos tamaños en distintas GPU sin que tenga que codificar números manualmente.

Llame a la API de ocupación una vez durante la inicialización, guarde en caché el tamaño de bloque y reutilícelo en cada lanzamiento de ese kernel.

El tamaño sugerido es un excelente punto de partida. Aun así, puede comparar algunos tamaños cercanos para encontrar el mejor para sus datos.

Los tamaños codificados, como 256, dejan de funcionar bien cuando cambian los recursos. La API se adapta y mantiene automáticamente el kernel cerca de su ocupación máxima.

Ha conocido la API de ocupación: sugiere un tamaño de bloque portable y adaptado al kernel, y predice la ocupación antes de cualquier lanzamiento. ⚙️