Eliminar la divergencia de warps

Un warp consta de 32 hilos que ejecutan juntos la misma instrucción. Cuando sus rutas coinciden, el hardware funciona a máxima velocidad.

Si los hilos de un warp toman ramas diferentes, se produce divergencia. El hardware ejecuta cada ruta en serie, deja algunos lanes inactivos y desperdicia ciclos.

La versión sencilla usa tid % (2*s) para seleccionar los hilos activos. Los hilos activos e inactivos se intercalan dentro de cada warp, por lo que cada warp diverge considerablemente.

Aunque la mitad de los hilos no haga nada, sigue ocupando el warp. El warp no puede terminar hasta que se procesan tanto la ruta activa como la inactiva.

La solución consiste en asignar el trabajo activo a los IDs de hilo más bajos en lugar de distribuirlo. Calcule un índice a partir de tid y del stride.

Ahora los hilos ocupados son contiguos: tid 0,1,2,... trabajan y todos los demás descansan. Los warps completos están totalmente activos o totalmente inactivos.

Un warp en el que todos los lanes están inactivos simplemente finaliza sin trabajo. No hay serialización por lane, por lo que el coste de la divergencia desaparece en gran medida.

El culpable oculto era la condición de módulo. Distribuía los hilos activos por cada warp, que es precisamente lo que provoca la divergencia.

No cambió las matemáticas ni el número de sumas. Solo reasignó qué hilo realiza cada suma, y los warps se lo agradecen.

En miles de bloques y muchos pasos, eliminar la divergencia produce una aceleración real, a menudo de un par de veces frente al kernel ingenuo.

Esta versión lee vecinos intercalados en la memoria compartida, lo que puede provocar conflictos de bancos. La siguiente lección también resolverá ese problema.

Eliminó la divergencia asignando trabajo a los identificadores de hilo más bajos, por lo que los warps están completamente activos o inactivos. Las mismas operaciones matemáticas, pero una reducción más rápida. Siguiente: conflictos de bancos. 🚀