Events für Zeitmessung und Synchronisierung

Ein CUDA-Event ist eine Markierung, die Sie in einen Stream einfügen. Die GPU zeichnet auf, wann sie diesen Punkt erreicht, sodass Sie Arbeit messen und ordnen können. ⏱️

Events verwenden wie Streams ein cudaEvent_t-Handle. Sie erstellen, protokollieren und fragen es ab und zerstören es anschließend.

Rufen Sie für jedes benötigte Event cudaEventCreate auf. Für die Zeitmessung benötigen Sie normalerweise zwei: eines vor der Arbeit und eines danach.

cudaEventRecord fügt das Event in einen Stream ein. Die GPU versieht es mit einem Zeitstempel, sobald sie alles zuvor Eingereihte abgeschlossen hat.

Protokollieren Sie den Start, starten Sie Ihren Kernel und protokollieren Sie anschließend das Ende – alles im selben Stream. Der Abstand dazwischen ist die tatsächliche GPU-Ausführungszeit.

Events sind asynchron, daher muss der Host warten. cudaEventSynchronize blockiert, bis das angegebene Event tatsächlich auf der GPU protokolliert wurde.

cudaEventElapsedTime gibt die Millisekunden zwischen zwei protokollierten Events zurück. Das ist deutlich genauer als eine CPU-Uhr auf dem Host.

Host-Timer enthalten den Startaufwand und erfassen die tatsächliche GPU-Zeit nicht. Events befinden sich innerhalb des Streams und messen daher genau, was das Gerät ausgeführt hat.

Events können Streams auch synchronisieren. cudaStreamWaitEvent lässt einen Stream pausieren, bis ein in einem anderen Stream protokolliertes Event eingetreten ist.

Mit stream-wait-event drücken Sie eine Abhängigkeit aus: streamB beginnt seine Arbeit erst, nachdem streamA sein Event erreicht hat, ohne den Host zu blockieren.

Geben Sie nicht mehr benötigte Events mit cudaEventDestroy frei. Wie Streams sind sie zwar kostengünstig, sollten in langlebigen Anwendungen aber nicht undicht werden.

Events ermöglichen es Ihnen, GPU-Arbeit präzise zu messen und einen Stream nach einem anderen zu ordnen. Sie sind Ihr Werkzeug zum Messen und Koordinieren von Überlappung. 🎯