CUDA Academy · レッスン

ストリーム内でcudaMemcpyAsyncを使う

オーバーラップ可能なノンブロッキング転送を実行します。

「ストリーム内でcudaMemcpyAsyncを使う」はCoddyKit上の無料CUDA Academyレッスンです。これはレッスン3/4です。下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。これはCUDA Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 CUDA Academyコースには全4レッスンが含まれています。

このレッスンの一部はまだ翻訳されておらず、英語で表示されています。

Blocking by Default

Plain cudaMemcpy stops your CPU until the copy finishes. Your host thread just waits, doing nothing useful while bytes move.

The Async Cousin

Meet cudaMemcpyAsync. It queues the copy and returns to your CPU immediately, so the host can keep working while the transfer happens.

It Needs a Stream

The async copy takes an extra argument: a stream. The stream is the ordered queue where the transfer waits its turn to run.

cudaMemcpyAsync(d_data, h_data, bytes, cudaMemcpyHostToDevice, stream);

Pinned or Bust

Here is the catch: async copies only run truly non-blocking from pinned host memory. Pass a pageable buffer and CUDA silently falls back to a blocking copy.

Returns, Does Not Finish

When the call returns, the copy has only been scheduled, not completed. The data may still be in flight, so do not read it yet.

Order Within a Stream

Work in one stream runs in order, one item after another. So a copy issued before a kernel in the same stream is guaranteed to finish first.

Wait When You Must

Before touching the results on the CPU, make sure the queue drained. Call cudaStreamSynchronize to block until that stream's work is done.

cudaStreamSynchronize(stream);

The Whole Point: Overlap

Async copies let a transfer in one stream run while a kernel in another stream computes. That concurrency is how you hide transfer time.

Beware the Default Stream

If you pass stream 0, the legacy default, it can serialize against everything else. Use your own created streams to actually get overlap.

Keep the Buffer Alive

Since the copy finishes later, the host buffer must stay valid until then. Free it too early and the in-flight transfer reads garbage.

A Typical Pattern

The classic flow is async copy in, launch the kernel, then async copy out, all in one stream. Sync only at the very end.

cudaMemcpyAsync(d_in, h_in, bytes, cudaMemcpyHostToDevice, stream);
kernel<<<grid, block, 0, stream>>>(d_in, d_out);

Quick Check

What does cudaMemcpyAsync require to be genuinely non-blocking?

Recap

cudaMemcpyAsync queues a copy in a stream and returns at once, but needs pinned memory to overlap. Sync the stream before reading results. ⚡

よくある質問

「ストリーム内でcudaMemcpyAsyncを使う」レッスンは無料ですか？

はい。「ストリーム内でcudaMemcpyAsyncを使う」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、CUDA Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 CUDA Academyコースには全4レッスンが含まれています。

「ストリーム内でcudaMemcpyAsyncを使う」で何を学びますか？

オーバーラップ可能なノンブロッキング転送を実行します。ブラウザで直接実行するハンズオンコードでCUDA Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

CUDA Academyを始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのCUDA Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。これはレッスン3/4です。

「ストリーム内でcudaMemcpyAsyncを使う」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このCUDA Academyレッスンでコードを書いて実行できますか？

はい。すべてのCUDA Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

← CUDA Academyに戻る