Enumeración y selección de dispositivos

Una sola máquina puede contener varias GPU. Para utilizarlas todas, el programa debe descubrir primero cuántos dispositivos hay presentes antes de enviarles trabajo.

Una llamada le indica cuántas GPU puede ver el runtime. cudaGetDeviceCount escribe esa cantidad en el int que usted le proporciona.

Cada GPU recibe un identificador entero desde 0 hasta count menos uno. Ese identificador de dispositivo es la forma de indicar al runtime una tarjeta concreta.

Puede elegir a qué GPU se dirigirán las siguientes llamadas mediante cudaSetDevice. A partir de ese momento, las asignaciones y los lanzamientos se realizan en esa tarjeta.

En cada momento, exactamente una GPU es el dispositivo actual del subproceso que realiza la llamada. Cada cudaMalloc o lanzamiento de kernel se ejecuta en el dispositivo que esté seleccionado.

Antes de confiar en una GPU, puede consultar sus especificaciones. cudaGetDeviceProperties rellena una estructura con el nombre, el tamaño de la memoria y la capacidad de cómputo.

La estructura de propiedades contiene mucha información. Campos como name y totalGlobalMem le ayudan a elegir la mejor tarjeta o a descartar una que sea demasiado pequeña.

Un puntero obtenido mediante cudaMalloc pertenece a la GPU que era la actual en ese momento. Utilizarlo mientras otro dispositivo es el actual es un error a punto de ocurrir.

Detrás de cada GPU hay un contexto que contiene sus asignaciones y streams. Cambiar el dispositivo actual le cambia al contexto de ese dispositivo.

Un patrón habitual consiste en recorrer un bucle que llama a cudaSetDevice para cada identificador y después configura esa tarjeta. Así puede distribuir el trabajo entre todos los dispositivos.

Si una función auxiliar cambia el dispositivo actual, vuelva a cambiarlo al terminar. Dejar modificado el dispositivo actual puede causar sorpresas en el resto del código.

Cuenta las GPU, elige una con cudaSetDevice y la inspecciona mediante sus propiedades. Cada dispositivo tiene su propia memoria y contexto. A continuación: dividir el trabajo entre ellas. ✨