Quando o paralelismo dinâmico compensa

O paralelismo dinâmico é poderoso, mas não é gratuito. Saber quando usá-lo é tão importante quanto saber como.

Ele é mais vantajoso em cargas de trabalho irregulares, nas quais a quantidade de trabalho por região só é conhecida quando o kernel é executado.

Pense no refinamento adaptativo de malha: uma região que precisa de mais detalhes pode criar mais threads exatamente onde os dados exigem.

Problemas hierárquicos também se beneficiam. Um nó com muitos filhos pode lançar um kernel para processar essa subárvore em paralelo.

A vantagem é evitar as dispendiosas idas e voltas ao hospedeiro entre etapas quando o tamanho de cada etapa depende do resultado da anterior.

Mas todo lançamento aninhado traz um custo adicional real. Muitos lançamentos filhos pequenos podem custar mais do que economizam.

Quando lançar, faça valer a pena: um lançamento grande é melhor que centenas de lançamentos pequenos realizando o mesmo trabalho total.

O aninhamento profundo multiplica o custo adicional e pode atingir o limite de profundidade de lançamento. Mantenha a árvore rasa quando possível.

Muitas vezes, um kernel plano com um laço com passo de grade lida com tamanhos variáveis com menos custo que lançamentos aninhados.

Sempre faça o perfil de desempenho das duas versões. Às vezes, o paralelismo dinâmico perde para um design inteligente com um único lançamento.

Use-o quando o trabalho depender intensamente dos dados e cada filho realizar uma quantidade substancial de trabalho. Caso contrário, aplaine o kernel.

Use o paralelismo dinâmico em trabalhos irregulares e dependentes dos dados, com tarefas filhas substanciais. Tenha cuidado com o custo dos lançamentos, mantenha o aninhamento raso e faça o perfil de desempenho. 🎯