CUDA Academy · 课时

默认流陷阱

了解流 0 如何将所有操作串行化

第 1 / 4 课13 个步骤

默认流陷阱 是 CoddyKit 上的免费 CUDA Academy 课时。 这是第 1 节课,共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 CUDA Academy 学习路径的一部分,你的进度在网页和 CoddyKit 应用中同步。 CUDA Academy 课程共包含 4 节课。

什么是流?

流是 GPU 工作的有序队列。同一流中的操作会按照提交顺序依次执行。⏳

默认流

如果您从未指定流,每次调用都会进入默认流,也称为流 0。您的所有工作一直都在这里悄悄运行。

为什么它是个陷阱

默认流具有同步特性:它会等到其他流完成,而其他流也会等待它。这样不会发生任何重叠,GPU 会在各步骤之间处于空闲状态。

所有操作都被串行化

如果在流 0 上依次提交一次复制、一个内核和另一次复制,它们就会严格前后相接地运行。第二步永远无法在第一步结束前启动。

cudaMemcpy(d_a, h_a, n, cudaMemcpyHostToDevice);
kernel<<<grid, block>>>(d_a);
cudaMemcpy(h_a, d_a, n, cudaMemcpyDeviceToHost);

硬件被浪费

现代 GPU 为计算和复制分别配备了独立引擎。在默认流中,这些引擎只能轮流工作,而不是协同工作。

复制的隐藏成本

通过 PCIe 传输数据很慢。当复制无法与计算重叠时,传输时间就会直接增加到总运行时间中。

隐式同步

许多默认流调用在主机端同样会阻塞。cudaMemcpy 只有在复制完成后才会返回,从而让 CPU 停滞。

传统行为

默认情况下,任何流中的工作都会等待流 0,而流 0 也会等待它们。这条传统规则会悄悄破坏您以为已经拥有的并发性。

典型的性能分析结果

在性能分析器中,默认流陷阱会表现为一条中间有间隙的繁忙轨道,而复制引擎和计算引擎则在彼此等待时处于空闲状态。

解决方法

解决方法是将相互独立的工作提交到不同的流中。这样复制和内核就能同时运行,填补那些空闲间隙。

每线程默认流

使用 --default-stream per-thread 编译后,每个主机线程都会拥有自己的默认流,无需重写每次调用即可减轻这个陷阱。

nvcc --default-stream per-thread app.cu -o app

快速检查

为什么将所有工作放到默认流中会降低性能?

回顾

默认流会将 GPU 工作串行化,并阻止操作重叠。要进一步提速,接下来您会将独立任务移到各自的流中。🚀

免费开始

用 AI 导师学习 C++ — 免费

在浏览器中编写并运行真实代码,获得全天候 AI 导师的即时帮助,并在网页或应用中继续学习。

课程
30
课程
120

常见问题解答

「默认流陷阱」课时是免费的吗?

是的 — 「默认流陷阱」的完整文本可在网页上免费阅读。要进行交互式练习(内置代码编辑器和全天候 AI 导师)并解锁 CUDA Academy 课程的其余内容,请升级到 CoddyKit PRO。 CUDA Academy 课程共包含 4 节课。

「默认流陷阱」这节课中我会学到什么?

了解流 0 如何将所有操作串行化 你通过在浏览器中直接运行的动手代码来练习 CUDA Academy,全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 CUDA Academy 需要有经验吗?

无需任何先前经验。CoddyKit 上的 CUDA Academy 课程适合初学者到高级学习者,你可以从这里开始或从头开始,按照自己的节奏学习。 这是第 1 节课,共 4 节。

「默认流陷阱」课时需要多长时间?

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动,所以你能稳步进步,并在网页和应用中从离开的地方继续。

我能在这节 CUDA Academy 课中编写并运行代码吗?

能。每节 CUDA Academy 课都包含内置代码编辑器,你可以在浏览器中直接编写并运行真实代码,并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. 默认流陷阱
  2. 创建并使用流
  3. 使用事件进行计时与同步
  4. 重叠复制与计算
← 返回 CUDA Academy