Sobreponha cópia e cálculo
Oculte as transferências atrás dos núcleos.
Sobreponha cópia e cálculo é uma aula grátis de CUDA Academy no CoddyKit. Esta é a aula 4 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de CUDA Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de CUDA Academy inclui 4 aulas no total.
A ideia principal
Os ganhos reais de velocidade vêm de fazer duas coisas ao mesmo tempo: copiar um bloco de dados enquanto a GPU calcula outro. 🔀
Mecanismos de hardware separados
Uma GPU tem mecanismos de cópia e unidades de cálculo distintos. A sobreposição funciona porque eles podem executar em paralelo de verdade, em vez de apenas se alternarem.
A memória fixada é necessária
As cópias assíncronas precisam de memória do host fixada, obtida com cudaMallocHost. Uma alocação comum e paginável força uma cópia bloqueante que não pode ser sobreposta.
cudaMallocHost(&h_data, bytes);Cópias assíncronas
Use cudaMemcpyAsync com um fluxo para que a transferência retorne imediatamente e entre na fila desse fluxo junto com os núcleos.
cudaMemcpyAsync(d_in, h_in, bytes, cudaMemcpyHostToDevice, s);Divida o trabalho em blocos
Divida o vetor em partes e atribua a cada parte seu próprio fluxo. Enquanto o fluxo 0 calcula, o fluxo 1 já pode estar copiando.
Copiar, calcular, copiar de volta
Cada bloco executa as mesmas três etapas em seu fluxo: enviar a entrada, executar o núcleo e baixar a saída, tudo sem bloquear o host.
cudaMemcpyAsync(d, h, n, H2D, s);
k<<<g, b, 0, s>>>(d);
cudaMemcpyAsync(h, d, n, D2H, s);Como a sobreposição acontece
Como os blocos estão em fluxos diferentes, a GPU pode copiar o bloco dois enquanto ainda calcula o bloco um. A linha do tempo fica preenchida. 📊
Ocultando o custo do PCIe
As transferências deixam de aumentar o tempo total; elas ficam ocultas atrás dos cálculos. Idealmente, seu tempo de execução cai para aproximadamente o maior entre o tempo da cópia e o do núcleo.
Cuidado com o fluxo padrão
Uma única chamada ao fluxo padrão no meio do laço pode serializar tudo novamente. Mantenha cada operação assíncrona associada a um fluxo real e não padrão.
Verifique em um analisador de desempenho
Abra o Nsight Systems e procure faixas de cópia e cálculo que se sobreponham no tempo. Faixas empilhadas e ocupadas indicam que sua concorrência é real.
Sincronize no final
Depois de emitir todos os blocos, chame cudaDeviceSynchronize uma vez para que todos os fluxos terminem antes de ler os resultados finais no host.
cudaDeviceSynchronize();Verificação rápida
O que uma transferência assíncrona exige para se sobrepor aos cálculos?
Recapitulação
Ao dividir o trabalho entre fluxos usando memória fixada e cópias assíncronas, você oculta as transferências atrás dos cálculos e mantém a GPU realmente ocupada. 🚀
Perguntas Frequentes
A aula “Sobreponha cópia e cálculo” é grátis?
Sim — o texto completo de “Sobreponha cópia e cálculo” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de CUDA Academy, atualize para CoddyKit PRO. O curso de CUDA Academy inclui 4 aulas no total.
O que vou aprender em “Sobreponha cópia e cálculo”?
Oculte as transferências atrás dos núcleos. Você pratica CUDA Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar CUDA Academy?
Nenhuma experiência prévia é necessária. CUDA Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 4 de 4.
Quanto tempo leva a aula “Sobreponha cópia e cálculo”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de CUDA Academy?
Sim. Cada aula de CUDA Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- A armadilha do fluxo padrão
- Crie e use fluxos
- Eventos para cronometragem e sincronização
- Sobreponha cópia e cálculo