Condiciones de carrera en la GPU

En la GPU, miles de hilos pueden acceder a la misma memoria al mismo tiempo. Cuando varios escriben juntos en una misma posición, se produce una condición de carrera. 🏁

Una condición de carrera ocurre cuando el resultado final depende del orden impredecible en que se ejecutan los hilos. El mismo código puede producir un resultado distinto en cada lanzamiento.

Incrementar un contador consta en realidad de tres pasos: leer el valor, sumarle uno y volver a escribirlo. Esta secuencia de lectura-modificación-escritura es el origen del problema.

Dos hilos leen 5, ambos calculan 6 y ambos escriben 6. Esperaba obtener 7, pero obtuvo 6. Un incremento desapareció silenciosamente.

Ese incremento desaparecido se denomina actualización perdida. Con miles de hilos compitiendo, pueden desaparecer decenas o cientos de actualizaciones a la vez.

Este kernel parece correcto, pero todos los hilos compiten por la misma dirección. El recuento final será incorrecto y variará entre ejecuciones.

El hardware nunca garantiza un orden de ejecución de los hilos. Por eso, un kernel con carreras es no determinista: incluso puede funcionar con entradas pequeñas y fallar con entradas grandes.

Que muchos hilos lean el mismo valor no supone ningún problema. El conflicto comienza únicamente cuando al menos un hilo escribe mientras otros leen o escriben.

Si cada hilo escribe en su propia posición, como out[i], no hay ningún conflicto. Una carrera requiere que los hilos apunten a la misma ubicación.

La solución consiste en hacer que la lectura-modificación-escritura sea un único paso indivisible. Se trata de una operación atómica, que verá en la siguiente lección. ⚛️

Al revisar un kernel, pregúntese: ¿hay dos hilos que escriben en la misma dirección sin protección? Si es así, casi con toda seguridad existe una carrera de datos.

Ha aprendido que una lectura-modificación-escritura sin protección sobre datos compartidos provoca condiciones de carrera y actualizaciones perdidas. Las operaciones atómicas, que verá a continuación, hacen que esos pasos sean indivisibles. ✅