A hierarquia de threads

Um kernel CUDA é executado em paralelo em muitas threads, e cada thread realiza o mesmo trabalho na própria parte dos dados. 🧵

Lançar milhões de threads soltas seria um caos. O CUDA as organiza em uma hierarquia clara para que o hardware possa programá-las bem.

As threads são agrupadas em um bloco. Todas as threads de um bloco executam o mesmo kernel e podem cooperar estreitamente com as vizinhas.

Todos os blocos de um lançamento juntos formam a grade. Portanto, a sequência é simples: as threads vivem em blocos, e os blocos vivem na grade.

O design em dois níveis permite que um kernel seja executado tanto em uma GPU pequena quanto em uma enorme. Você descreve o trabalho uma vez, e a grade se ajusta ao tamanho disponível.

Você escolhe quantos blocos e quantas threads por bloco haverá no próprio lançamento, usando a sintaxe dos três sinais de maior angulares.

Suponha que você lance 4 blocos com 256 threads. Isso dá 4 multiplicado por 256, ou 1024 threads executadas ao mesmo tempo.

Blocos diferentes não podem presumir nenhuma ordem nem se comunicar diretamente. É justamente essa independência que permite à GPU executá-los em qualquer sequência.

Dentro de um bloco, as threads podem compartilhar memória rápida no chip e sincronizar umas com as outras. Esse trabalho em equipe é o superpoder de um bloco.

Tanto a grade quanto cada bloco podem ser 1D, 2D ou 3D. O tipo dim3 permite fazer um mapeamento natural para imagens ou volumes.

O objetivo comum é dar a cada thread exatamente um elemento de dados para processar. A hierarquia é apenas o caminho para chegar a esse mapeamento.

Você aprendeu a estrutura do CUDA: as threads formam um bloco, e os blocos formam a grade. Os blocos independentes permitem escalar, enquanto as threads dentro de um bloco cooperam. 🎯