Il ciclo di vita di un programma CUDA

Quasi ogni programma CUDA segue la stessa sequenza in cinque fasi. Imparate una volta il ritmo e potrete leggere qualsiasi codice per GPU. 🕺

Per prima cosa riservate la memoria del device per gli input e gli output con cudaMalloc, perché la GPU non può usare direttamente i buffer dell’host.

Successivamente caricate i dati di input dall’host al device con cudaMemcpy. Ora la GPU dispone di una propria copia su cui lavorare.

Ora avviate il kernel su numerosi thread. È qui che il lavoro parallelo viene effettivamente eseguito sul device. 🚀

Al termine del calcolo, scaricate i risultati dal device all’host, così la CPU può leggerli e utilizzarli.

Infine rilasciate ogni buffer del device con cudaFree. Se saltate questo passaggio, lasciate occupata memoria della GPU che potrebbe essere utilizzata da altre operazioni.

Poiché gli avvii sono asincroni, chiamate cudaDeviceSynchronize prima di leggere i risultati, per assicurarvi che la GPU abbia davvero terminato.

I passaggi di copia attraversano il bus PCIe, che è lento, quindi il trasferimento dei dati è spesso il vero collo di bottiglia, non il kernel in sé.

Allocare una volta sola e riutilizzare i buffer tra numerosi avvii è più efficiente che allocare memoria nuova a ogni iterazione di un ciclo.

Notate la simmetria: a ogni cudaMalloc corrisponde un cudaFree e ogni copia in ingresso è accompagnata da una copia in uscita.

Ripetetelo come un mantra: allocare, copiare, avviare, copiare all’indietro, deallocare. Questa singola sequenza è lo scheletro di quasi ogni programma con kernel.

Avete imparato il ciclo di vita CUDA in cinque fasi: allocare, copiare in ingresso, avviare, copiare all’indietro, deallocare, oltre alla sincronizzazione prima di leggere i risultati. 🎉