O que é uma transação de memória

A GPU nunca busca um único byte isoladamente. Ela move a memória em blocos de tamanho fixo chamados transações de memória, mesmo que o senhor tenha solicitado apenas um valor.

Um warp de 32 threads emite suas cargas ao mesmo tempo. O hardware reúne as 32 solicitações e tenta atendê-las com o menor número possível de transações.

A memória global é dividida em segmentos alinhados, normalmente com 32 ou 128 bytes. Cada transação carrega um segmento inteiro, nunca uma parte dele.

Uma linha de 128 bytes contém exatamente 32 números de ponto flutuante de quatro bytes. Isso corresponde a um valor para cada thread de um warp, portanto um warp organizado pode ser atendido por uma única transação.

Os segmentos começam em endereços fixos e alinhados. Se seus dados começarem no meio de um segmento, um único warp poderá atravessar duas linhas e exigir uma transação extra.

Se um warp acessar apenas alguns bytes de uma linha de 128 bytes, a GPU ainda moverá os 128 bytes. Os bytes não utilizados são largura de banda desperdiçada, pela qual o senhor pagou mesmo assim.

O desempenho muitas vezes se resume a um número: quantas transações um warp precisa. Menos transações significam menos dados lidos e uma conclusão mais rápida.

Quando 32 threads leem 32 números de ponto flutuante vizinhos a partir de um endereço alinhado, a GPU responde com uma linha limpa de 128 bytes. Essa é a transação única ideal.

Se cada thread buscar um valor distante dos valores das vizinhas, o warp poderá disparar até 32 transações separadas, trazendo 32 linhas inteiras para um uso mínimo.

A maioria dos kernels é limitada pela velocidade com que move a memória, não pela matemática. Reduzir a quantidade de transações aumenta diretamente sua largura de banda efetiva. 🚀

Agora o senhor conhece a unidade de custo: a transação do tamanho de um segmento. Todo truque de coalescência apresentado a seguir trata, na verdade, de agrupar os warps no menor número possível dessas transações.

O senhor aprendeu que a GPU move a memória em segmentos fixos e que um warp é atendido pelo menor número de transações possível. Menos transações, kernel mais rápido. 🎉