Estrutura de vetores versus vetor de estruturas

Suponha que cada partícula tenha x, y e z. O senhor pode mantê-los juntos ou separá-los, e essa escolha muda a forma como cada warp faz a coalescência.

O layout natural de C++ agrupa os campos de cada registro lado a lado. Isso é um vetor de estruturas, frequentemente abreviado como AoS.

Quando um warp lê apenas x de cada registro, os valores de x ficam separados por 12 bytes. Esse passo incorporado desperdiça a maior parte de cada linha carregada.

Inverta a organização: armazene todos os valores de x juntos, todos os valores de y juntos e todos os valores de z juntos. Isso é uma estrutura de vetores, ou SoA.

Agora, ler x para 32 threads acessa 32 números de ponto flutuante contíguos. Isso corresponde a uma linha alinhada e a uma transação organizada por campo.

Pergunte como seu kernel lê os dados. Se as threads percorrem um campo em vários registros, SoA quase sempre vence na GPU.

Se cada thread usa todos os campos de um registro em conjunto, AoS os mantém na mesma linha e continua favorecendo o cache.

Isso não é uma questão de gosto. Trocar AoS por SoA pode multiplicar a vazão real para a mesma matemática, simplesmente reduzindo os bytes desperdiçados.

O senhor pode agrupar alguns registros e depois separar os campos dentro de cada grupo. Esse layout AoSoA equilibra a coalescência com a localidade do cache.

É difícil alterar o layout posteriormente, pois ele afeta todos os kernels e cópias. Escolha cedo entre SoA e AoS, orientando-se pelos padrões de acesso. 🧩

Regra prática para GPUs: separe os campos em vetores para que cada warp leia uma sequência contígua. Prefira SoA para kernels que operam por campo.

Você comparou AoS e SoA: agrupe os campos para usar o registro inteiro, mas divida-os em matrizes quando as warps percorrerem um campo por vez. 🎉