Fånga arbete i en graf

En CUDA Graph registrerar en hel sekvens av kernels och kopieringar som en återanvändbar arbetsenhet som kan skickas in om och om igen.

Varje enskild kernel-lansering har en liten CPU-overhead. Över tusentals lanseringar per iteration blir kostnaden märkbar.

En graph låter Dig beskriva arbetet en gång och sedan spela upp det billigt, eftersom installationskostnaden bara betalas en gång.

Det enklaste sättet att skapa en är stream capture: Ni registrerar de normala lanseringar som Ni redan gör i en stream.

Mellan start och slut lanserar Ni kernels och kopieringar som vanligt. Inget körs ännu; operationerna registreras i stället för att köras.

Ni stoppar registreringen med cudaStreamEndCapture, som returnerar en cudaGraph_t som beskriver allt arbete.

Capture identifierar automatiskt beroendena mellan operationerna utifrån hur Ni använde streamen.

En graph är bara en beskrivning. Ni kompilerar den till ett körbart graph exec-objekt innan Ni kan lansera den.

Ni kan också lägga till noder explicit med graph-API:t för full kontroll över struktur och kanter.

Capture kan omfatta flera streams, så oberoende grenar som körs samtidigt hamnar i samma graph.

När samma exec-objekt har instantierats lanseras det upprepade gånger, vilket är precis där grafer gör störst nytta.

Omslut lanseringar med stream capture för att registrera en cudaGraph_t, instantiera den en gång, så härleder capture beroendena åt Er. Bra jobbat! 🎉