cudaMemAdviseでヒントを与える

プリフェッチはデータを今すぐ移動します。一方、cudaMemAdviseは、ある領域をどのように使う予定かをドライバーに伝え、時間をかけてページを適切に配置できるようにします。

ポインタ、バイト数、adviceフラグ、デバイスIDを渡します。ドライバーはそのヒントを、将来の移行判断に反映します。

多くのデバイスが読み取り、書き込みはほとんど行わないデータには、cudaMemAdviseSetReadMostlyを使います。ドライバーは両方の側に読み取り専用コピーを保持し、移行を避けられます。

cudaMemAdviseSetPreferredLocationを使うと、ページのホームとなるデバイスを指定できます。別の側からアクセスされても、ページはそこから移動しにくくなります。

cudaMemAdviseSetAccessedByは、あるデバイスがこの領域にアクセスすることを示すため、ドライバーはそのデバイスにマッピングします。ページを移動する代わりに、バス経由でアクセスします。

2つのデバイスが同じページを奪い合う場合、適切な助言によって往復を止められます。配置を安定させることで、データが行ったり来たりするのを防ぎます。

1回限りのプリフェッチとは異なり、助言は変更するまでその領域に保持されます。バッファが存在する間のあらゆる移行判断に影響します。

Setフラグには、ヒントを取り消す対応するUnset形式があります。アクセスパターンが変わったら助言を解除し、ドライバーを誤誘導しないようにしてください。

この2つのツールは相性がよいものです。PreferredLocationでホームを定め、プリフェッチでそこにデータを入れると、移行が安定したパターンに落ち着きます。

名前の意味を覚えておきましょう。助言は保証ではなく提案です。ドライバーが無視することもあるため、配置が役立ったか必ずプロファイリングで確認してください。

これで3つの手段がそろいました。管理対象ポインタ、タイミングを制御するプリフェッチ、配置を指定する助言です。これらを組み合わせると、Unified Memoryは使いやすく高速になります。

ReadMostly、PreferredLocation、AccessedByなどのcudaMemAdviseのヒントで、ページ配置を誘導する方法を学びました。プリフェッチと組み合わせ、プロファイリングしましょう。よくできました！🎯