ページ可能メモリが遅い理由

malloc で確保した通常の C++ バッファは、ページング可能なホストメモリ上に置かれます。一見便利ですが、GPU はそこから直接コピーできず、この小さな違いが速度の低下につながります。

メモリがページング可能であるとは、オペレーティングシステムがそのページをいつでも移動したり、ディスクにスワップしたりできるという意味です。柔軟性には優れていますが、固定アドレスを必要とするハードウェアには扱いにくい性質です。

GPU はDMAを使ってデータを取得します。これは、移動しない物理アドレスを必要とするハードウェアによる直接転送です。ページング可能なページはこの条件を満たせないため、直接使用できません。

これを回避するため、ドライバーはまずページング可能なバッファを隠れたステージングバッファにコピーし、その後で GPU に送ります。自分では記述していない余分なコピーのコストを支払うことになります。😮

つまり、ページング可能なメモリからの 1 回の cudaMemcpy は、実際には2 回のコピーです。ホストからステージングへ、続いてステージングからデバイスへコピーします。この余分な処理こそが、ページング可能な転送が遅く感じられる理由です。

これは、まず誰もが使おうとするバッファです。動作はしますが、h_data からの転送はすべて、ひそかにステージング処理を経由します。

OS は、多数のプログラムを同時に動かせるよう RAM をオーバーコミットするため、メモリをページング可能な状態に保ちます。この利便性が、GPU によるページの直接読み取りを妨げています。

ページング可能な転送では、リンクのピーク帯域幅の半分程度しか出ないことがよくあります。ステージングコピーによって CPU サイクルとメモリ帯域が消費され、本来の転送に使えるリソースが減るためです。

ステージングコピーは同期的に行われるため、ページング可能な転送をカーネルと本当に重ね合わせることはできません。ストリームを有効に活用する非同期処理の利点が失われます。

小さなコピーを 1 回行うだけなら、誰も気にしないでしょう。しかし、毎回のループでデータを転送する場合は、ステージングのコストが積み重なり、実行時間の大部分をひそかに占めるようになります。

解決策は、ページアウトできないバッファー、つまりピン留めメモリを CUDA に要求することです。GPU はステージングも二重コピーもせず、直接読み取れます。

ページング可能なバッファーは移動する可能性があるため、GPU は DMA で直接アクセスできません。ドライバーは最初にステージングするため、コピーが二重になります。この先の解決策がピン留めメモリです。🚀