Ловушка потока по умолчанию
Как поток 0 выполняет все операции последовательно.
«Ловушка потока по умолчанию» — бесплатный урок CUDA Academy на CoddyKit. Это урок 1 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения CUDA Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс CUDA Academy содержит 4 уроков всего.
Что такое поток?
Поток — это упорядоченная очередь работы для GPU. Операции в одном потоке выполняются одна за другой в порядке их постановки. ⏳
Поток по умолчанию
Если Вы не указываете поток, каждый вызов попадает в поток по умолчанию, также называемый потоком 0. Именно в нём незаметно выполнялась вся Ваша работа.
Почему это ловушка
Поток по умолчанию синхронизирует работу: он ждёт завершения других потоков, а они ждут его. Ничего не выполняется одновременно, поэтому GPU простаивает между шагами.
Всё выполняется последовательно
Если поместить копирование, ядро, а затем ещё одно копирование в поток 0, они выполнятся строго одно за другим. GPU не сможет начать второй шаг до завершения первого.
cudaMemcpy(d_a, h_a, n, cudaMemcpyHostToDevice);
kernel<<<grid, block>>>(d_a);
cudaMemcpy(h_a, d_a, n, cudaMemcpyDeviceToHost);Неиспользуемое оборудование
В современных GPU есть отдельные устройства для вычислений и копирования. В потоке по умолчанию эти устройства работают по очереди, а не вместе.
Скрытая цена копирований
Передача данных по PCIe выполняется медленно. Если копирование не может перекрываться с вычислениями, его продолжительность напрямую добавляется к общему времени выполнения.
Неявная синхронизация
Многие вызовы потока по умолчанию также являются блокирующими для хоста. cudaMemcpy возвращается только после завершения копирования, из-за чего CPU простаивает.
Устаревшее поведение
По умолчанию работа в любом потоке ждёт поток 0, а поток 0 ждёт остальные потоки. Это устаревшее правило незаметно уничтожает параллелизм, на который Вы рассчитывали.
Показательный профиль
В профилировщике ловушка потока по умолчанию проявляется как одна занятая дорожка с пробелами, тогда как движки копирования и вычислений простаивают, ожидая друг друга.
Выход из положения
Решение — отправлять независимые операции в отдельные потоки. Тогда копирование и выполнение ядер смогут идти одновременно и заполнят эти простои.
Потоки по умолчанию для каждого потока хоста
Компиляция с параметром --default-stream per-thread даёт каждому потоку хоста собственный поток по умолчанию и устраняет ловушку без переписывания каждого вызова.
nvcc --default-stream per-thread app.cu -o appБыстрая проверка
Почему размещение всей работы в потоке по умолчанию снижает производительность?
Итоги
Поток по умолчанию сериализует работу на GPU и блокирует перекрытие операций. Чтобы ускорить программу, далее Вы перенесёте независимые задачи в собственные потоки. 🚀
Изучай C++ с ИИ-репетитором — бесплатно
Пиши и запускай код прямо в браузере, получай мгновенную помощь от ИИ-репетитора 24/7 и продолжи учиться на сайте или в приложении.
- Курсы
- 30
- Уроки
- 120
Часто задаваемые вопросы
Урок «Ловушка потока по умолчанию» бесплатный?
Да — полный текст урока «Ловушка потока по умолчанию» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс CUDA Academy, подпишись на CoddyKit PRO. Курс CUDA Academy содержит 4 уроков всего.
Чему я научусь в уроке «Ловушка потока по умолчанию»?
Как поток 0 выполняет все операции последовательно. Ты практикуешь CUDA Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать CUDA Academy?
Предыдущий опыт не требуется. CUDA Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 1 из 4.
Сколько времени занимает урок «Ловушка потока по умолчанию»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке CUDA Academy?
Да. Каждый урок CUDA Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Ловушка потока по умолчанию
- Создание и использование потоков выполнения
- События для измерения времени и синхронизации
- Перекрытие копирования и вычислений