Threads pro Block auswählen

Beim Starten eines Kernels müssen Sie festlegen, wie viele Threads pro Block verwendet werden. Diese kleine Entscheidung beeinflusst die tatsächliche Leistung. 🎚️

Die GPU führt Threads in Gruppen von 32 aus, die Warps genannt werden. Wählen Sie daher immer ein Vielfaches von 32. Ungewöhnliche Größen verschwenden bei einem unvollständigen Warp Rechenbahnen.

Gute erste Schätzungen sind 128 oder 256 Threads pro Block. Beide Werte sind Vielfache von 32 und funktionieren auf fast jeder GPU gut.

Ein Block kann auf aktuellen GPUs höchstens 1024 Threads enthalten. Fordern Sie mehr an, schlägt der Start einfach mit einem Fehler fehl.

Sehr kleine Blöcke, etwa mit 32 Threads, können dazu führen, dass die GPU nicht vollständig ausgelastet wird. Dem Scheduler stehen dann weniger Warps zur Verfügung, um die Speicherlatenz zu verbergen.

Sehr große Blöcke können alle Register oder den Shared Memory aufbrauchen, sodass pro Multiprozessor weniger Blöcke Platz finden. Größer ist nicht immer besser.

Sobald die Anzahl der Threads pro Block feststeht, runden Sie die Anzahl der Blöcke auf, damit jedes Element abgedeckt ist, auch wenn die Division nicht ohne Rest aufgeht.

Durch das Aufrunden gibt es einige zusätzliche Threads. Sichern Sie Ihren Kernel mit einem if ab, damit diese nicht auf Speicher hinter dem Array zugreifen.

Sie können CUDA mithilfe des Occupancy-Helfers automatisch nach einer geeigneten Blockgröße fragen und anschließend von diesem Vorschlag ausgehend optimieren.

Die tatsächlich beste Größe hängt von Ihrem Kernel und Ihrer GPU ab. Beginnen Sie mit 256, benchmarken Sie anschließend einige Werte und behalten Sie den schnellsten.

Für die meisten Einsteiger-Kernels sind 256 Threads pro Block zusammen mit einer aufgerundeten Blockanzahl ein zuverlässiger und schneller Ausgangspunkt.

Sie haben gelernt, Blockgrößen festzulegen: Verwenden Sie Vielfache von 32, wählen Sie standardmäßig 256, bleiben Sie unter 1024, runden Sie die Blockanzahl auf und benchmarken Sie. 🏁