La ocupación no lo es todo

Puede resultar tentador buscar una ocupación del 100 %, pero la ocupación máxima no garantiza el máximo rendimiento.

La ocupación importa únicamente porque ayuda a ocultar la latencia. Una vez oculta, los warps adicionales no aportan nada útil.

Muchos kernels alcanzan su velocidad máxima con solo un 50 % de ocupación. A partir de ahí aparecen rendimientos decrecientes, y resulta más útil ajustar otros aspectos.

Un hilo que realiza varias operaciones independientes oculta la latencia por sí mismo, por lo que necesita menos warps residentes para mantenerse ocupado.

A veces, asignar más registros a los hilos reduce la ocupación, pero acelera el kernel porque disminuye el tráfico de memoria y los derrames.

Si un kernel está limitado por el ancho de banda de memoria, añadir warps no ayudará. Lo que ayudará serán mejores patrones de acceso.

Cuando las unidades matemáticas están saturadas, el kernel está limitado por el cálculo. Una mayor ocupación no puede superar el límite aritmético.

Deje que Nsight Compute le indique si está limitado por la memoria o por el cálculo antes de modificar la configuración de lanzamiento.

El único juez fiable es el reloj. Pruebe varios tamaños de bloque y conserve el que se ejecute más rápido con datos reales.

Considere una baja ocupación como una pista, no como un veredicto. Investigue por qué es baja y, después, decida si aumentarla realmente ayuda.

Un buen ajuste equilibra la ocupación, el uso de registros y el comportamiento de la memoria, optimizando el verdadero cuello de botella en lugar de una sola métrica.

Ha aprendido que la ocupación es un medio, no el objetivo: ocultar la latencia, encontrar el verdadero cuello de botella y dejar que los benchmarks decidan. 🏁