Cooperative Groups

Rohe Masken und Intrinsics funktionieren, sind aber umständlich. Cooperative Groups fassen Threads in Objekten zusammen, die Sie benennen, deren Größe Sie bestimmen und die Sie explizit synchronisieren können.

Holen Sie sich zunächst eine Referenz auf Ihren Thread-Block. this_thread_block gibt eine Gruppe zurück, die Sie wie syncthreads synchronisieren können, allerdings als Objekt.

Der Aufruf von sync für den Block ist die moderne Barriere. Er bewirkt genau dasselbe wie syncthreads, liest sich aber klar als Methode der gemeinten Gruppe.

Sie können einen Block in Kacheln fester Größe aufteilen. Eine Kachel mit 32 Lanes ergibt eine Gruppe in Warp-Größe mit übersichtlichen Methoden statt roher Shuffle-Masken.

Eine gekachelte Gruppe stellt shfl_down und verwandte Funktionen ohne Maskenargument bereit. Die Gruppe kennt ihre Mitglieder bereits, daher bleibt die API kurz und sicher.

Jede Gruppe stellt ihre Mitglieder und Ihre Position bereit. thread_rank liefert Ihren Index innerhalb der Gruppe, und size gibt an, wie viele Threads sie enthält.

Kacheln müssen nicht 32 Lanes breit sein. Eine tiled_partition mit 8 oder 16 Lanes erzeugt Sub-Warp-Gruppen – praktisch, wenn Ihre Daten natürlicherweise in kleinen Mengen gebündelt sind.

Die Bibliothek liefert fertige Kollektivoperationen. Eine Gruppen-reduce summiert eine Kachel mit einem einzigen Aufruf und verbirgt die Offset-Schleife, die Sie zuvor selbst geschrieben haben.

Die leistungsfähigste Gruppe ist die Grid-Gruppe. Mit einem kooperativen Start kann jeder Block an einer Barriere synchronisieren – etwas, das ein normaler Kernel nicht kann.

Eine Synchronisierung über das gesamte Grid funktioniert nur, wenn Sie den Kernel mit cudaLaunchCooperativeKernel starten und die GPU dies unterstützt. Ein normaler Start erlaubt dies nicht.

Cooperative Groups machen Warp-Code lesbar und portierbar: keine manuell verwalteten Masken, klare Gültigkeitsbereiche und wiederverwendbare Kollektivoperationen, die Ihrer Absicht entsprechen.

Cooperative Groups verwandeln Masken in benannte Objekte: Teilen Sie einen Block in Kacheln auf, rufen Sie reduce auf und synchronisieren Sie sogar ein gesamtes Grid. Sie beherrschen nun CUDA auf Warp-Ebene. ✨