Что на самом деле означает заполненность

Каждое ядро GPU, называемое SM, может одновременно удерживать множество активных варпов. Загрузка показывает, насколько полно используется эта ёмкость. 🎯

Загрузка — это отношение числа активных варпов на SM к максимальному числу варпов, которое может удерживать этот SM. Чем больше активных варпов, тем полнее загружено устройство.

Когда один варп останавливается из-за медленного чтения из памяти, SM немедленно запускает другой готовый варп. Благодаря такой замене GPU скрывает задержку.

Каждая архитектура задаёт предел — часто 64 варпа на SM. Загрузка сравнивает ваше ядро с этим аппаратным ограничением.

Теоретическая загрузка — это то, что конфигурация запуска позволяет получить на бумаге. Достигнутая загрузка — то, что действительно выполнялось, по данным профилировщика.

Если SM удерживает 64 варпа, а ваше ядро поддерживает активными только 32, его загрузка составляет 50%. Половина возможностей скрытия задержки простаивает.

Загрузка всегда измеряется в варпах, а не в отдельных потоках. Варп состоит из 32 потоков, поэтому блок из 256 потоков содержит ровно 8 варпов.

Планировщик разделяет каждый активный блок на варпы. Поэтому произведение числа блоков на SM на числа варпов в блоке даёт количество активных варпов.

Загрузку ограничивают три ресурса: регистры на поток, общая память на блок и лимит варпов SM. Определяющим становится самое жёсткое ограничение.

Более высокая загрузка обычно лучше скрывает задержку, но после определённого предела не даёт дополнительного выигрыша. Это инструмент, а не конечная цель.

Профилировщики вроде Nsight Compute показывают достигнутую загрузку рядом с вашим ядром. Это число — отправная точка для настройки.

Вы узнали, что загрузка — это отношение активных варпов к максимуму SM; она измеряется в варпах и помогает скрывать задержку. 🚀