Nsight Systemsのタイムライン表示

Nsight Systemsは、全体を見渡せるプロファイラです。プログラム全体のタイムラインを表示し、GPU がアイドル状態になっている場所を見つけられます。🔭

タイムラインでは、すべての操作が時間軸に沿って配置されます。何がいつ実行され、それぞれにどれだけ時間がかかったのかを、並べてすぐに確認できます。

コマンドラインでnsysを使って実行を記録します。GPU と CPU の活動が1つのレポートに収集され、後から開いて確認できます。

各行は、CPU スレッド、CUDA API 呼び出し、カーネル、メモリコピーといった活動のストリームを表します。これらを一緒に読むことで、処理全体の流れが分かります。

GPU の行にある空白はギャップ、つまり GPU が何もしていなかった時間です。ギャップは、何かが待機していることを示す最大の手がかりです。⏳

タイムラインでは、メモリコピーとカーネルが別々のレーンに表示されます。コピーが大半を占めているなら、実際のコストはデータ移動にあります。

コピーとカーネルが同時に実行されると、異なるストリーム上のバーがオーバーラップします。オーバーラップは良い状態です。GPU が稼働し続けているからです。

全体表示では詳細が隠れるため、遅い領域を拡大します。近くで見ると、1つのカーネルやコピーにかかった時間を正確に測定できます。

任意のバーにカーソルを合わせると、正確な実行時間と名前が表示されます。これにより、漠然とした遅さの感覚を、対策に使える具体的な数値へ変えられます。

GPU が待機する原因は、CPUが処理の準備で忙しいこともあります。タイムラインを使えば、このホスト側の停止も同じように明確に確認できます。

Nsight Systems は、アプリ全体で時間がどこに費やされているかを明らかにします。カーネル単位の詳しい分析には、別のツールを使います。

Nsight Systems では、タイムライン上のギャップ、コピー、カーネル、オーバーラップを一目で確認できます。まずここから始めて、実際に時間が費やされている場所を見つけてください。👏