cudaDeviceSynchronize explicado

Depois de um lançamento, a CPU continua avançando enquanto a GPU ainda trabalha. Para pausar e esperar, chame cudaDeviceSynchronize. ⏳

cudaDeviceSynchronize bloqueia o hospedeiro até que toda tarefa da GPU na fila termine. Só então a próxima linha da CPU é executada.

Sem uma sincronização, você pode ler resultados que a GPU ainda não escreveu. A sincronização garante que o kernel realmente esteja concluído.

Ela também esvazia o printf do dispositivo. Se o kernel imprime, mas nada aparece, geralmente a causa é a falta de sincronização.

A chamada retorna um cudaError_t. Uma falha nesse ponto geralmente revela um erro ocorrido dentro do kernel.

Os kernels falham silenciosamente, portanto verificar o código de erro da sincronização é como descobrir um acesso fora dos limites ou um lançamento inválido.

Um cudaMemcpy simples de volta para o hospedeiro também espera pela GPU. Nesse caso comum, talvez não seja necessária uma sincronização separada.

Chamar a sincronização depois de cada etapa elimina a sobreposição e deixa a execução mais lenta. Sincronize apenas quando realmente precisar ler resultados ou medir o tempo.

Para medir um kernel de forma correta, sincronize antes e depois. Caso contrário, o cronômetro medirá apenas a rapidez com que a CPU colocou o trabalho na fila.

Para ter um controle mais preciso, cudaStreamSynchronize espera por um único fluxo em vez de esperar pelo dispositivo inteiro. É ótimo quando há sobreposição de trabalho.

Enquanto estiver aprendendo, sincronize depois de cada lançamento e verifique o resultado. Quando o código estiver sólido, remova as sincronizações extras para ganhar velocidade.

cudaDeviceSynchronize faz a CPU esperar pela GPU, esvazia o printf e revela falhas ocultas. Use-o com critério, não em todos os lugares. 🎉