Qué es una transacción de memoria

La GPU nunca obtiene un solo byte por separado. Mueve la memoria en bloques de tamaño fijo llamados transacciones de memoria, aunque solo haya solicitado un valor.

Un warp de 32 hilos emite sus cargas al mismo tiempo. El hardware reúne las 32 solicitudes e intenta atenderlas con el menor número posible de transacciones.

La memoria global se divide en segmentos alineados, normalmente de 32 o 128 bytes. Cada transacción obtiene un segmento completo, nunca una parte.

Una línea de 128 bytes contiene exactamente 32 valores float de cuatro bytes. Es un valor por cada hilo de un warp, por lo que un warp ordenado puede atenderse con una sola transacción.

Los segmentos comienzan en direcciones fijas y alineadas. Si los datos empiezan a mitad de un segmento, un solo warp puede extenderse por dos líneas y forzar una transacción adicional.

Si un warp toca solo unos pocos bytes de una línea de 128 bytes, la GPU sigue moviendo los 128. Los bytes no utilizados son ancho de banda desperdiciado que paga de todos modos.

El rendimiento suele reducirse a una cifra: cuántas transacciones necesita un warp. Menos transacciones significan menos datos leídos y una finalización más rápida.

Cuando 32 hilos leen 32 valores float contiguos desde una dirección alineada, la GPU responde con una sola línea ordenada de 128 bytes. Esa es la transacción única ideal.

Si cada hilo obtiene un valor alejado de los de sus vecinos, el warp puede activar hasta 32 transacciones independientes y traer 32 líneas completas para un uso mínimo.

La mayoría de los kernels están limitados por la velocidad a la que mueven la memoria, no por los cálculos. Reducir el número de transacciones aumenta directamente el ancho de banda efectivo. 🚀

Ahora conoce la unidad de coste: la transacción del tamaño de un segmento. Cada técnica de coalescencia que verá a continuación consiste, en realidad, en concentrar los warps en el menor número posible de estas transacciones.

Ha aprendido que la GPU mueve la memoria en segmentos de tamaño fijo y que un warp se atiende con el menor número posible de transacciones. Menos transacciones, un kernel más rápido. 🎉