Кооперативные группы

Необработанные маски и встроенные функции работают, но с ними легко ошибиться. Кооперативные группы объединяют потоки в объекты, которым можно задавать имя и размер и которые можно явно синхронизировать.

Начните с получения дескриптора своего блока потоков. this_thread_block возвращает группу, которую можно синхронизировать так же, как с помощью syncthreads, но в виде объекта.

Вызов sync для блока — это современный барьер. Он делает ровно то же, что и syncthreads, но понятнее показывает, что это метод нужной вам группы.

Блок можно разделить на фрагменты фиксированного размера — tiles. Фрагмент из 32 линий даёт группу размером с варп, где есть понятные методы вместо необработанных масок перемешивания.

Фрагментированная группа предоставляет shfl_down и другие операции без аргумента-маски. Группа уже знает своих участников, поэтому интерфейс остаётся коротким и безопасным.

Каждая группа предоставляет сведения о своих участниках и вашей позиции. thread_rank возвращает ваш индекс внутри группы, а size возвращает количество содержащихся в ней потоков.

Фрагменты не обязаны иметь ширину 32. tiled_partition размера 8 или 16 создаёт подварповые группы, удобные, когда ваши данные естественным образом объединяются в небольшие наборы.

Библиотека предоставляет готовые коллективные операции. Группа reduce суммирует фрагмент одним вызовом, скрывая цикл по смещениям, который раньше вы писали вручную.

Самая масштабная группа — это группа сетки. При кооперативном запуске каждый блок может синхронизироваться на одном барьере, чего обычное ядро делать не может.

Синхронизация всей сетки работает только при запуске ядра с помощью cudaLaunchCooperativeKernel и при поддержке этой возможности GPU. Обычный запуск её не разрешает.

Кооперативные группы делают код варпа понятным и переносимым: не нужны маски, которыми приходится управлять вручную, области действия ясны, а повторно используемые коллективные операции соответствуют вашему замыслу.

Кооперативные группы превращают маски в именованные объекты: разделяют блок на фрагменты, вызывают reduce и даже синхронизируют целую сетку. Теперь вы управляете CUDA на уровне варпа. ✨