Когда динамический параллелизм оправдан

Динамический параллелизм мощный, но не бесплатный. Знать, когда его применять, не менее важно, чем знать как.

Он особенно полезен для нерегулярных рабочих нагрузок, когда объём работы для каждого участка неизвестен до запуска ядра.

Представьте адаптивное уточнение сетки: область, которой требуется детализация, может создать дополнительные потоки именно там, где этого требуют данные.

Иерархические задачи также хорошо подходят для этого. Узел с множеством потомков может запустить ядро для параллельной обработки этого поддерева.

Преимущество заключается в пропуске затратных обращений к хосту между этапами, когда размер каждого этапа зависит от результата предыдущего.

Однако каждый вложенный запуск сопровождается реальными накладными расходами. Множество небольших запусков потомков может стоить дороже, чем сэкономить.

Если Вы выполняете запуск, пусть он будет оправдан: один крупный запуск лучше сотен маленьких, выполняющих тот же общий объём работы.

Глубокая вложенность увеличивает накладные расходы и может привести к достижению ограничения глубины запуска. По возможности сохраняйте дерево неглубоким.

Часто плоское ядро с циклом grid-stride обрабатывает переменные размеры дешевле, чем вложенные запуски.

Всегда профилируйте оба варианта. Динамический параллелизм иногда проигрывает продуманной реализации с одним запуском.

Используйте его, когда работа сильно зависит от данных, а каждая задача потомка достаточно велика. В противном случае объедините ядро.

Когда динамический параллелизм обычно окупается?

Используйте динамический параллелизм для нерегулярной работы, зависящей от данных, со значительными задачами потомков. Учитывайте накладные расходы запуска, сохраняйте небольшую глубину вложенности и выполняйте профилирование. 🎯