Die Occupancy-Calculator-API

Statt die Größe von Hand abzustimmen, bietet CUDA eine Occupancy-API, die automatisch eine gute Blockgröße für Ihren Kernel berechnet.

Ein Aufruf übernimmt den größten Teil der Arbeit: cudaOccupancyMaxPotentialBlockSize schlägt eine Blockgröße vor, die die Occupancy maximiert.

Die Funktion liefert eine empfohlene Blockgröße und die minimale Grid-Größe, die erforderlich ist, um das Gerät für Ihren Kernel vollständig auszulasten.

Die API liest die tatsächliche Register- und Shared-Memory-Nutzung Ihres Kernels und passt ihre Empfehlung daher genau an diesen Kernel an, statt eine allgemeine Schätzung zu verwenden.

Ein verwandter Aufruf gibt an, wie viele aktive Blöcke pro SM eine Konfiguration ermöglicht. So können Sie die Occupancy vorhersagen, bevor Sie den Kernel starten.

Multiplizieren Sie die Blöcke pro SM mit den Warps pro Block und teilen Sie das Ergebnis durch das Warp-Maximum des SM. So erhalten Sie den Prozentsatz der theoretischen Occupancy.

Diese Aufrufe akzeptieren ein Argument für dynamischen Shared Memory. Dadurch bleibt die Vorhersage korrekt, wenn Ihr Kernel die Shared-Memory-Größe beim Start festlegt.

Da die laufende GPU abgefragt wird, wählt derselbe Code auf verschiedenen GPUs passende Größen, ohne dass Sie Zahlen fest einprogrammieren müssen.

Rufen Sie die Occupancy-API einmal während der Initialisierung auf, speichern Sie die Blockgröße zwischen und verwenden Sie sie anschließend bei jedem Start dieses Kernels erneut.

Die vorgeschlagene Größe ist ein hervorragender Ausgangspunkt. Sie können dennoch einige benachbarte Größen benchmarken, um die tatsächliche beste Größe für Ihre Daten zu finden.

Fest codierte Größen wie 256 funktionieren nicht mehr, wenn sich die Ressourcen ändern. Die API passt sich an und hält Ihren Kernel automatisch nahe an der maximalen Occupancy.

Sie haben die Occupancy-API kennengelernt: Sie schlägt eine portable, kernelbezogene Blockgröße vor und sagt die Occupancy voraus, bevor Sie den Kernel überhaupt starten. ⚙️