Quando il parallelismo dinamico conviene

Il dynamic parallelism è potente, ma non è gratuito. Sapere quando usarlo è importante quanto sapere come.

È particolarmente utile nei carichi di lavoro irregolari, in cui la quantità di lavoro per regione non è nota finché il kernel non viene eseguito.

Pensa all'adaptive mesh refinement: una regione che necessita di maggior dettaglio può creare altri thread esattamente dove lo richiedono i dati.

Anche i problemi gerarchici si adattano bene. Un nodo con molti figli può avviare un kernel per elaborare quel sottoalbero in parallelo.

Il vantaggio consiste nell'evitare costosi round-trip verso l'host tra le fasi, quando la dimensione di ogni fase dipende dal risultato della precedente.

Tuttavia, ogni launch annidato comporta un overhead reale. Molti piccoli launch di figli possono costare più di quanto facciano risparmiare.

Quando avvii un kernel, fai in modo che ne valga la pena: un launch grande è migliore di centinaia di launch piccoli che svolgono la stessa quantità totale di lavoro.

Un annidamento profondo moltiplica l'overhead e può raggiungere il limite di profondità dei lanci. Mantenga l'albero poco profondo quando possibile.

Spesso un kernel piatto con un ciclo grid-stride gestisce le dimensioni variabili in modo più economico rispetto ai lanci annidati.

Esegua sempre il profiling di entrambe le versioni. Il parallelismo dinamico a volte è peggiore di un'architettura intelligente con un solo lancio.

Lo utilizzi quando il lavoro è fortemente dipendente dai dati e ogni attività figlia esegue una quantità significativa di lavoro. In caso contrario, renda il kernel piatto.

Quando tende a essere vantaggioso il parallelismo dinamico?

Scelga il parallelismo dinamico per lavori irregolari e dipendenti dai dati, con attività figlie significative. Presti attenzione all'overhead dei lanci, mantenga l'annidamento poco profondo ed esegua il profiling. 🎯