在流中使用 cudaMemcpyAsync
实现可重叠的非阻塞传输
在流中使用 cudaMemcpyAsync 是 CoddyKit 上的免费 CUDA Academy 课时。 这是第 3 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 CUDA Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 CUDA Academy 课程共包含 4 节课。
默认情况下会阻塞
普通的 cudaMemcpy 会让 CPU 停下来，直到拷贝完成。您的主机线程只能等待，在字节传输期间无法进行任何有用的工作。
异步版本
认识一下 cudaMemcpyAsync。它会将拷贝加入队列，并立即返回到 CPU，因此主机可以在传输进行时继续工作。
它需要一个流
异步拷贝需要一个额外参数：流。流是一个有序队列，传输会在其中等待轮到自己执行。
cudaMemcpyAsync(d_data, h_data, bytes, cudaMemcpyHostToDevice, stream);必须使用锁页内存
关键在于：只有从锁页主机内存进行拷贝时，异步拷贝才会真正以非阻塞方式运行。传入可分页缓冲区后，CUDA 会静默退回到阻塞拷贝。
返回并不代表完成
调用返回时，拷贝只是被安排执行，还没有完成。数据可能仍在传输中，因此请不要立即读取它。
流内的顺序
同一流中的工作会按照顺序逐项运行。因此，在同一流中先发出的拷贝一定会先于后发出的内核完成。
必要时再等待
在 CPU 访问结果之前，请确保队列中的工作已经完成。调用 cudaStreamSynchronize，阻塞直到该流中的工作全部完成。
cudaStreamSynchronize(stream);核心目的：重叠执行
异步拷贝可以让一个流中的传输与另一个流中的内核同时运行。这种并发执行可以隐藏传输时间。
注意默认流
如果传入流 0，也就是传统默认流，它可能会与其他所有工作串行执行。请使用自行创建的流，才能真正获得重叠执行。
保持缓冲区有效
由于拷贝会稍后完成，主机缓冲区必须一直有效到那时。过早释放它，正在进行的传输就会读取无效数据。
典型模式
经典流程是：异步拷入、启动内核，然后异步拷出，全部在同一流中进行。只在最后进行同步。
cudaMemcpyAsync(d_in, h_in, bytes, cudaMemcpyHostToDevice, stream);
kernel<<<grid, block, 0, stream>>>(d_in, d_out);快速检查
要让 cudaMemcpyAsync 真正实现非阻塞，需要满足什么条件？
回顾
cudaMemcpyAsync 会将拷贝加入流中并立即返回，但需要锁页内存才能实现重叠执行。在读取结果前，请同步该流。⚡
用 AI 导师学习 C++ — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「在流中使用 cudaMemcpyAsync」课时是免费的吗？
是的 — 「在流中使用 cudaMemcpyAsync」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 CUDA Academy 课程的其余内容，请升级到 CoddyKit PRO。 CUDA Academy 课程共包含 4 节课。
「在流中使用 cudaMemcpyAsync」这节课中我会学到什么？
实现可重叠的非阻塞传输 你通过在浏览器中直接运行的动手代码来练习 CUDA Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 CUDA Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 CUDA Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 3 节课，共 4 节。
「在流中使用 cudaMemcpyAsync」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 CUDA Academy 课中编写并运行代码吗？
能。每节 CUDA Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 为什么可分页内存很慢
- 使用 cudaMallocHost 分配页锁定内存
- 在流中使用 cudaMemcpyAsync
- 双缓冲流水线