Ein mentales Modell der Hierarchie

Stellen Sie sich den GPU-Speicher als eine Pyramide vor. Die Spitze ist winzig und blitzschnell, die Basis dagegen riesig, aber langsam. Ihre Aufgabe ist es, jede Ebene sinnvoll zu nutzen.

An der Spitze stehen Register: pro Thread, am schnellsten und sehr begrenzt. Halten Sie Ihre am häufigsten benötigten Arbeitswerte nach Möglichkeit dort.

Direkt darunter liegt der Shared Memory, ein auf dem Chip befindlicher Zwischenspeicher, der für alle Threads eines Blocks sichtbar ist. Er dient der schnellen Zusammenarbeit innerhalb eines Blocks.

Daneben befindet sich der Konstanten-Cache, ideal für kleine schreibgeschützte Werte, die ein Warp gleichförmig liest und mit einem Abruf broadcastet.

Die breite Basis bildet der globale Speicher: Gigabytes groß und für alle sichtbar, aber mit hoher Latenz. Er enthält Ihre großen Ein- und Ausgaben.

Vorsicht beim lokalen Speicher. Er klingt nach einem nahegelegenen Bereich, liegt aber im langsamen DRAM und wird nur verwendet, wenn Register überlaufen. Vermeiden Sie es, sich auf ihn zu verlassen.

Wählen Sie abhängig davon, wer die Daten benötigt. Ein einzelner Thread benötigt Register, ein gemeinsam arbeitender Block den Shared Memory, und alle Threads den globalen Speicher.

Register und Shared Memory verschwinden, wenn ein Kernel endet, der globale Speicher bleibt jedoch über Kernelstarts hinweg erhalten. Stimmen Sie den Speicherort darauf ab, wie lange die Daten bestehen müssen.

Das erfolgreiche Muster lautet: einmal aus dem globalen Speicher laden, im schnellen Speicher auf dem Chip berechnen und anschließend einmal zurückschreiben. So minimieren Sie den Datenverkehr im langsamen globalen Speicher.

Wenn Sie pro Block viele Register oder viel Shared Memory verwenden, können weniger Blöcke gleichzeitig ausgeführt werden. Die Belegung ist ein Gleichgewicht, das Sie fortlaufend optimieren.

Gute Kernel leiten jedes Datenelement gezielt auf die passende Ebene. Diese eine Gewohnheit unterscheidet langsamen Code von schnellem CUDA-Code. 💪

Sie haben eine mentale Übersicht erstellt: Register, Shared, Constant und Global tauschen Geschwindigkeit gegen Größe und Gültigkeitsbereich. Daten der richtigen Ebene zuzuordnen, ist der entscheidende Schritt. 🧠