Зачем нужны блоки

Возможно, вы задаётесь вопросом, зачем CUDA вообще объединяет потоки в блоки. Ответ связан с планированием и масштабированием. 🤔

GPU передаёт целые блоки своим потоковым мультипроцессорам. Блок — это часть работы, которую оборудование планирует как единое целое.

Блоки должны выполняться независимо, в любом порядке, без гарантированной связи между ними. Именно это правило делает ядро переносимым между GPU.

Небольшой GPU запускает несколько блоков одновременно, а большой — много. Независимость позволяет одному и тому же коду масштабироваться без изменения ни одной строки.

Потоки одного блока используют общую быструю память на кристалле и могут синхронизироваться. Такое тесное взаимодействие возможно только потому, что они остаются вместе.

Барьер вроде __syncthreads работает только внутри блока. Встроенного способа синхронизировать всю сетку в середине ядра нет.

Если бы блоки могли ждать друг друга, GPU мог бы попасть в взаимную блокировку, когда не способен разместить их одновременно. Независимость блоков предотвращает это.

Когда один блок ожидает память, планировщик запускает другой готовый блок. Большое число блоков позволяет ядрам не простаивать.

Регистры и общая память выделяются для каждого блока. Небольшие блоки позволяют одновременно разместить больше блоков на мультипроцессоре.

При хорошем запуске блоков значительно больше, чем мультипроцессоров у GPU. Дополнительные блоки дают планировщику возможность равномерно распределять работу.

Таким образом, блоки жертвуют глобальным взаимодействием ради огромной масштабируемости. Вы отказываетесь от синхронизации между блоками и получаете код, работающий на любом GPU.

Вы узнали, зачем нужны блоки: это независимые единицы, которыми можно управлять при планировании, обеспечивающие масштабируемость, тогда как потоки внутри них тесно взаимодействуют. 🚀