El ciclo de vida de un programa CUDA

Casi todos los programas CUDA siguen el mismo baile de cinco pasos. Aprenda el ritmo una vez y podrá leer cualquier código para GPU. 🕺

Primero reserve memoria del dispositivo para las entradas y salidas con cudaMalloc, ya que la GPU no puede usar directamente los búferes del host.

A continuación, suba los datos de entrada del host al dispositivo con cudaMemcpy. Ahora la GPU tiene su propia copia para trabajar con ella.

Ahora lance el kernel en muchos hilos. Aquí es donde realmente se realiza el trabajo paralelo en el dispositivo. 🚀

Cuando termine el cálculo, descargue los resultados del dispositivo al host para que la CPU pueda leerlos y utilizarlos.

Por último, libere todos los búferes del dispositivo con cudaFree. Omitir este paso provoca una fuga de memoria de la GPU que otros trabajos podrían utilizar.

Como los lanzamientos son asíncronos, llame a cudaDeviceSynchronize antes de leer los resultados para asegurarse de que la GPU ha terminado realmente.

Los pasos de copia atraviesan el bus PCIe, que es lento, por lo que la transferencia de datos suele ser el verdadero cuello de botella, no el kernel.

Asignar memoria una vez y reutilizar los búferes en muchos lanzamientos es mejor que asignar memoria nueva en cada iteración de un bucle.

Observe la simetría: cada cudaMalloc se corresponde con un cudaFree, y cada copia de entrada termina correspondiéndose con una copia de salida.

Repítalo como un mantra: asignar, copiar, lanzar, copiar de vuelta, liberar. Esa única línea es el esqueleto de casi todos los programas con kernels.

Ha aprendido el ciclo de vida de CUDA en cinco pasos: asignar, copiar a la GPU, lanzar, copiar de vuelta, liberar, además de sincronizar antes de leer los resultados. 🎉