Métricas de núcleos no Nsight Compute

O Nsight Compute é o microscópio de um único kernel. Ele coleta métricas detalhadas do hardware para que você veja exatamente por que a execução é lenta. 🔬

Você cria o perfil de um kernel com ncu pela linha de comando. Ele executa o kernel novamente várias vezes para coletar contadores detalhados.

A primeira coisa a ler é a vazão: o quanto as unidades de processamento e os canais de memória estão ocupados, mostrado como uma porcentagem do pico.

Uma parada ocorre quando uma warp não consegue avançar naquele ciclo. O Nsight Compute agrupa as paradas por motivo, para que você saiba o que corrigir.

Se a maioria das paradas indicar memória, o seu kernel está aguardando dados. A solução é melhorar os padrões de acesso ou a reutilização, não fazer mais cálculos.

A ocupação alcançada mostra quantas warps estavam realmente ativas em comparação com o máximo. Valores baixos geralmente significam que há poucas warps para ocultar a latência.

O gráfico de teto compara o seu kernel com os limites do hardware. A posição do ponto informa se o limite está no processamento ou na memória.

O Nsight Compute escreve recomendações em linguagem simples. Ele aponta o maior gargalo, para que você não precise começar fazendo suposições.

Os contadores dos caches L1 e L2 mostram com que frequência as leituras encontram os dados no cache. Taxas de acerto maiores significam menos acessos à lenta memória global.

Você pode comparar dois relatórios lado a lado. Assim, fica evidente se a sua alteração mais recente realmente melhorou as métricas.

Como ele repete a execução dos kernels, a sobrecarga da criação do perfil é alta. Use-o em um kernel por vez, não como uma execução normal.

O Nsight Compute revela as métricas de um kernel: vazão, esperas, ocupação e gráfico de teto. Use-o para confirmar exatamente o que deve ser otimizado. 👏