__shfl_down_sync para reduções

Um embaralhamento permite que uma faixa leia diretamente o valor do registrador de outra. Os dados passam entre threads sem memória compartilhada nem barreira intermediária.

O recurso principal para reduções é o shfl_down_sync. Cada faixa obtém um valor de uma faixa que está a um número fixo de posições acima no warp.

A chamada recebe uma máscara ativa, o valor a ser compartilhado e um deslocamento. A faixa i recebe o valor mantido pela faixa i mais o deslocamento.

Uma soma do warp simplesmente adiciona novamente o valor embaralhado. A faixa i pega o número da vizinha e o incorpora ao seu próprio total acumulado.

Como em uma redução em árvore, o deslocamento começa em 16 e é reduzido pela metade a cada etapa: 16, 8, 4, 2, 1. Após cinco etapas, todo o warp está somado.

Um warp tem 32 faixas, e 2 elevado à quinta potência é 32. Portanto, cinco etapas de redução pela metade são exatamente suficientes para combinar os 32 valores em um só.

Após o laço, o total completo do warp fica na faixa 0. As outras faixas contêm resultados parciais sem utilidade, portanto somente a faixa 0 deve gravar o resultado.

Como a troca ocorre por meio dos registradores em sincronia, você pode ignorar completamente syncthreads. O sufixo sync já coordena as faixas mascaradas.

Uma redução por embaralhamento do warp supera a versão com memória compartilhada: menos instruções, nenhum conflito de bancos e nenhuma espera em barreira. Esse é o caminho rápido para as últimas 32 faixas.

Se algumas faixas já tiverem saído, uma máscara completa estará errada. Capture o conjunto ativo com activemask para que cada embaralhamento toque apenas nas faixas presentes.

Reduções grandes geralmente reduzem cada warp com embaralhamentos e depois combinam os resultados dos warps na memória compartilhada. Os embaralhamentos lidam muito bem com o nível interno, de baixo custo.

Você somou um warp com shfl_down_sync: reduza o deslocamento pela metade cinco vezes, e a faixa 0 conterá o total, sem necessidade de barreiras. A seguir: votação e ballot. ✨