La jerarquía de hilos

Un kernel de CUDA se ejecuta en paralelo en muchos hilos, y cada hilo realiza el mismo trabajo sobre su propia parte de los datos. 🧵

Lanzar millones de hilos independientes sería caótico. CUDA los organiza en una jerarquía clara para que el hardware pueda planificarlos correctamente.

Los hilos se agrupan en un bloque. Todos los hilos de un bloque ejecutan el mismo kernel y pueden cooperar estrechamente con sus vecinos.

Todos los bloques de un lanzamiento forman el grid. Por tanto, la cadena es sencilla: los hilos viven en bloques y los bloques viven en el grid.

El diseño de dos niveles permite que un kernel se adapte desde una GPU pequeña hasta una enorme. Usted describe el trabajo una vez y el grid se ajusta al tamaño necesario.

Elija cuántos bloques y cuántos hilos por bloque habrá directamente en el lanzamiento, mediante la sintaxis de los corchetes angulares triples.

Suponga que lanza 4 bloques de 256 hilos. Eso le proporciona 4 por 256, es decir, 1024 hilos ejecutándose a la vez.

Los distintos bloques no pueden asumir ningún orden ni comunicarse directamente entre sí. Precisamente esta independencia permite que la GPU los ejecute en cualquier secuencia.

Dentro de un bloque, los hilos pueden compartir memoria rápida del chip y sincronizarse entre sí. Ese trabajo en equipo es la gran ventaja de un bloque.

Tanto el grid como cada bloque pueden ser 1D, 2D o 3D. El tipo dim3 permite adaptarlos de forma natural a imágenes o volúmenes.

El objetivo común es asignar exactamente un elemento de datos a cada thread. La jerarquía solo indica cómo llegar a esa correspondencia.

Ha aprendido la estructura de CUDA: los threads forman un block y los blocks forman la grid. Los blocks independientes permiten escalar, mientras que los threads dentro de un block cooperan. 🎯