Ett CUDA-programs livscykel

Nästan alla CUDA-program följer samma femstegsprocedur. Lär er rytmen en gång, så kan ni läsa all GPU-kod. 🕺

Reservera först enhetsminne för indata och utdata med cudaMalloc, eftersom GPU:n inte kan använda värdbuffertar direkt.

Ladda sedan upp era indata från värden till enheten med cudaMemcpy. GPU:n har nu en egen kopia att arbeta med.

Starta nu er kernel över många trådar. Det är här det parallella arbetet faktiskt utförs på enheten. 🚀

När beräkningen är klar laddar ni ned resultaten från enheten till värden, så att CPU:n kan läsa och använda dem.

Frigör slutligen varje enhetsbuffert med cudaFree. Om ni hoppar över detta läcker GPU-minne som annat arbete hade kunnat använda.

Eftersom starter sker asynkront ska ni anropa cudaDeviceSynchronize innan ni läser resultaten, så att GPU:n verkligen har slutfört arbetet.

Kopieringsstegen går över den långsamma PCIe-bussen, så dataöverföring är ofta den verkliga flaskhalsen, inte själva kerneln.

Att allokera en gång och återanvända buffertar under många starter är bättre än att allokera nytt minne vid varje iteration i en loop.

Lägg märke till symmetrin: varje cudaMalloc hör ihop med en cudaFree, och varje kopiering in följs så småningom av en kopiering ut.

Säg det som ett mantra: allokera, kopiera in, starta, kopiera tillbaka, frigör. Den enda raden utgör skelettet för nästan alla kernelprogram.

Ni har lärt er CUDA:s livscykel i fem steg: allokera, kopiera in, starta, kopiera tillbaka, frigör, samt att synkronisera innan ni läser resultaten. 🎉