De threadhiërarchie

Een CUDA-kernel draait parallel over veel threads, waarbij elke thread hetzelfde werk uitvoert op zijn eigen deel van de gegevens. 🧵

Miljoenen losse threads starten zou chaotisch zijn. CUDA organiseert ze in een duidelijke hiërarchie, zodat de hardware ze goed kan inplannen.

Threads worden gegroepeerd in een blok. Elke thread in een blok voert dezelfde kernel uit en kan nauw samenwerken met zijn buren.

Alle blokken voor één start vormen samen het raster. De keten is dus eenvoudig: threads leven in blokken en blokken leven in het raster.

Dankzij dit ontwerp op twee niveaus kan één kernel meegroeien van een kleine GPU tot een enorme. Je beschrijft het werk één keer en het raster past zich aan.

Je kiest het aantal blokken en het aantal threads per blok direct bij de start, met de syntaxis met drievoudige punthaken.

Stel dat je 4 blokken met 256 threads start. Dat geeft 4 maal 256, oftewel 1024 threads die allemaal tegelijk draaien.

Verschillende blokken mogen geen bepaalde volgorde aannemen en kunnen niet rechtstreeks met elkaar communiceren. Juist dankzij deze onafhankelijkheid kan de GPU ze in elke volgorde uitvoeren.

Binnen één blok kunnen threads snel geheugen op de chip delen en met elkaar synchroniseren. Die samenwerking is de superkracht van een blok.

Zowel het raster als elk blok kan 1D, 2D of 3D zijn. Met het type dim3 kun je natuurlijke toewijzingen maken voor afbeeldingen of volumes.

Het algemene doel is om elke thread precies één gegevenselement te laten verwerken. De hiërarchie bepaalt alleen hoe je die koppeling bereikt.

Je hebt de CUDA-ladder geleerd: threads vormen een block en blocks vormen het grid. Onafhankelijke blocks schalen goed, terwijl threads binnen een block samenwerken. 🎯