Cuándo compensa el paralelismo dinámico

El paralelismo dinámico es potente, pero no es gratuito. Saber cuándo recurrir a él es tan importante como saber cómo hacerlo.

Resulta especialmente útil en irregular workloads, donde la cantidad de trabajo de cada región se desconoce hasta que se ejecuta el kernel.

Piense en el refinamiento adaptativo de mallas: una región que necesita más detalle puede spawn more threads exactamente donde los datos lo exigen.

Los problemas jerárquicos también encajan. Un nodo con muchos hijos puede lanzar un kernel para procesar ese subtree en paralelo.

La ventaja consiste en evitar los costosos host round-trips entre fases cuando el tamaño de cada fase depende del resultado de la anterior.

Sin embargo, cada lanzamiento anidado conlleva un overhead real. Muchos lanzamientos hijos pequeños pueden costar más de lo que ahorran.

Cuando lance un kernel, haga que valga la pena: un large launch supera a cientos de lanzamientos pequeños que realizan el mismo trabajo total.

El anidamiento profundo multiplica la sobrecarga y puede alcanzar el límite de profundidad de lanzamiento. Mantenga el árbol poco profundo siempre que sea posible.

A menudo, un kernel plano con un bucle grid-stride gestiona los tamaños variables de forma más económica que los lanzamientos anidados.

Realice siempre un perfilado de ambas versiones. En ocasiones, el paralelismo dinámico pierde frente a un diseño ingenioso con un solo lanzamiento.

Úselo cuando el trabajo dependa mucho de los datos y cada tarea hija realice una cantidad considerable de trabajo. En caso contrario, aplane el kernel.

Recurra al paralelismo dinámico para trabajos irregulares y dependientes de los datos con tareas hijas importantes. Tenga en cuenta la sobrecarga de los lanzamientos, mantenga el anidamiento poco profundo y realice un perfilado. 🎯