重叠复制与计算
让内核执行掩盖传输时间
重叠复制与计算 是 CoddyKit 上的免费 CUDA Academy 课时。 这是第 4 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 CUDA Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 CUDA Academy 课程共包含 4 节课。
核心思想
真正的加速来自同时做两件事：GPU 在计算一个数据块时，复制另一个数据块。🔀
独立的硬件引擎
GPU 拥有独立的复制引擎和计算单元。重叠之所以可行，是因为它们能够真正并行运行，而不只是轮流工作。
必须使用页锁定内存
异步复制需要通过 cudaMallocHost 分配的页锁定主机内存。普通的可分页 malloc 会强制执行无法重叠的阻塞复制。
cudaMallocHost(&h_data, bytes);异步复制
将 cudaMemcpyAsync 与流配合使用，使传输立即返回，并与内核一起加入该流的队列。
cudaMemcpyAsync(d_in, h_in, bytes, cudaMemcpyHostToDevice, s);将工作分块
将数组拆分成多个部分，并为每个部分分配自己的流。当流 0 正在计算时，流 1 已经可以开始复制。
复制、计算、复制回来
每个数据块都会在自己的流中执行相同的三个步骤：上传输入、运行内核、下载输出，而且整个过程不会阻塞主机。
cudaMemcpyAsync(d, h, n, H2D, s);
k<<<g, b, 0, s>>>(d);
cudaMemcpyAsync(h, d, n, D2H, s);重叠如何形成
由于数据块位于不同的流中，GPU 可以在计算数据块一的同时复制数据块二。时间线因此被填满。📊
隐藏 PCIe 成本
传输不再增加总时间，而是隐藏在计算之后。理想情况下，运行时间会缩短到大约等于复制时间和内核时间中较长的那个。
留意默认流
循环中间一次不经意的默认流调用，就可能再次将所有工作串行化。请确保每个异步操作都绑定到真实的非默认流。
在性能分析器中验证
打开 Nsight Systems，查找时间上发生重叠的复制轨道和计算轨道。轨道层层叠加且持续繁忙，说明您的并发确实生效。
在末尾同步
提交所有数据块后，调用一次 cudaDeviceSynchronize，确保每个流都已完成，然后再在主机上读取最终结果。
cudaDeviceSynchronize();快速检查
异步传输要与计算重叠，需要什么条件？
回顾
通过使用页锁定内存和异步复制在多个流中分块处理工作，您可以将传输隐藏在计算之后，让 GPU 真正保持繁忙。🚀
用 AI 导师学习 C++ — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「重叠复制与计算」课时是免费的吗？
是的 — 「重叠复制与计算」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 CUDA Academy 课程的其余内容，请升级到 CoddyKit PRO。 CUDA Academy 课程共包含 4 节课。
「重叠复制与计算」这节课中我会学到什么？
让内核执行掩盖传输时间 你通过在浏览器中直接运行的动手代码来练习 CUDA Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 CUDA Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 CUDA Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 4 节课，共 4 节。
「重叠复制与计算」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 CUDA Academy 课中编写并运行代码吗？
能。每节 CUDA Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 默认流陷阱
- 创建并使用流
- 使用事件进行计时与同步
- 重叠复制与计算