La gerarchia dei thread

Un kernel CUDA viene eseguito in parallelo su molti thread e ogni thread svolge lo stesso lavoro sulla propria porzione di dati. 🧵

Avviare milioni di thread indipendenti sarebbe caotico. CUDA li organizza in una chiara gerarchia, così l’hardware può pianificarne bene l’esecuzione.

I thread sono raggruppati in un blocco. Ogni thread di un blocco esegue lo stesso kernel e può collaborare strettamente con i thread vicini.

Tutti i blocchi di un avvio costituiscono insieme la griglia. La struttura è quindi semplice: i thread vivono nei blocchi e i blocchi vivono nella griglia.

La struttura a due livelli permette a un kernel di adattarsi da una GPU piccola a una molto grande. Descrivete il lavoro una sola volta e la griglia si adatta alle dimensioni disponibili.

Indicate il numero di blocchi e di thread per blocco direttamente nell’avvio, usando la sintassi con parentesi angolari triple.

Supponiamo di avviare 4 blocchi da 256 thread. Otterrete 4 per 256, cioè 1024 thread eseguiti contemporaneamente.

Blocchi diversi non possono dare per scontato alcun ordine né comunicare direttamente tra loro. È proprio questa indipendenza a permettere alla GPU di eseguirli in qualsiasi sequenza.

All’interno di un blocco, i thread possono condividere memoria rapida sul chip e sincronizzarsi tra loro. Questa collaborazione è il superpotere di un blocco.

Sia la griglia sia ogni blocco possono essere 1D, 2D o 3D. Il tipo dim3 permette di adattare naturalmente la struttura a immagini o volumi.

L'obiettivo comune è assegnare a ogni thread esattamente un elemento di dati da elaborare. La gerarchia indica semplicemente come si arriva a questa corrispondenza.

Verifichiamo come si annidano tra loro i vari elementi.

Ha imparato la struttura a livelli di CUDA: i thread formano un block e i block formano la grid. I block indipendenti garantiscono la scalabilità, mentre i thread all'interno di un block collaborano. 🎯