A ocupação não é tudo

É tentador buscar 100% de ocupação, mas a ocupação máxima não garante o desempenho máximo.

A ocupação só é importante porque ajuda a ocultar a latência. Depois que a latência está oculta, warps adicionais não acrescentam nada útil.

Muitos kernels atingem a velocidade máxima com apenas 50% de ocupação. Depois desse ponto, você encontra retornos decrescentes, e ajustar outros aspectos traz mais benefícios.

Uma thread que executa várias operações independentes oculta a latência por conta própria, portanto precisa de menos warps residentes para continuar ocupada.

Às vezes, dar às threads mais registradores reduz a ocupação, mas acelera o kernel, porque diminui o tráfego de memória e os derramamentos.

Se um kernel é limitado pela largura de banda da memória, adicionar warps não ajudará. Padrões de acesso melhores ajudarão.

Quando as unidades matemáticas estão saturadas, o kernel é limitado pelo processamento. Mais ocupação não consegue ultrapassar o limite aritmético.

Deixe o Nsight Compute informar se você está limitado pela memória ou pelo processamento antes de alterar a configuração de lançamento.

O único juiz confiável é o cronômetro. Teste alguns tamanhos de bloco e mantenha aquele que executa mais rapidamente com dados reais.

Considere a baixa ocupação uma pista, não um veredito. Investigue por que ela está baixa e então decida se aumentá-la realmente ajuda.

Um bom ajuste equilibra ocupação, uso de registradores e comportamento da memória, otimizando o gargalo real em vez de uma única métrica.

Lembre-se de quando uma ocupação maior deixa de ajudar um kernel.

Você aprendeu que ocupação é um meio, não o objetivo: oculte a latência, encontre o gargalo real e deixe os testes decidirem. 🏁