Estructura de arrays frente a array de estructuras

Suponga que cada partícula tiene x, y y z. Puede mantener estos datos juntos o separarlos, y esa elección cambia cómo se combinan todos los warps.

La disposición natural de C++ empaqueta los campos de cada registro uno junto a otro. Esto es un array de estructuras, abreviado a menudo como AoS.

Cuando un warp lee únicamente x de cada registro, los valores de x están separados por 12 bytes. Este stride integrado desperdicia la mayor parte de cada línea que carga.

Hágalo al contrario: almacene juntos todos los valores de x, luego todos los de y y todos los de z. Esto es una estructura de arrays, o SoA.

Ahora, leer x para 32 hilos toca 32 valores float contiguos. Eso equivale a una línea alineada y una única transacción ordenada por campo.

Pregúntese cómo lee los datos su kernel. Si los hilos recorren un campo de muchos registros, SoA casi siempre ofrece mejores resultados en la GPU.

Si cada hilo utiliza juntos todos los campos de un registro, AoS los mantiene en una sola línea y favorece la caché.

No se trata de una cuestión de gustos. Cambiar de AoS a SoA puede multiplicar el rendimiento real con los mismos cálculos, simplemente reduciendo los bytes desperdiciados.

Puede agrupar algunos registros y después separar los campos dentro de cada grupo. Esta disposición AoSoA equilibra la combinación de accesos con la localidad de caché.

Es difícil cambiar la disposición al final, ya que afecta a cada kernel y cada copia. Elija pronto su estructura SoA o AoS, guiándose por los patrones de acceso. 🧩

Regla práctica para GPU: separe los campos en arrays para que cada warp lea un tramo contiguo. Prefiera SoA para kernels que procesan campos.

Ha comparado AoS y SoA: agrupe los campos para usar registros completos, pero sepárelos en arrays cuando los warps recorran un campo cada vez. 🎉