nvidia-smiを使いこなす

nvidia-smiはGPUのダッシュボードだと考えてください。1つのコマンドで、モデル、メモリ、温度、現在実行中の処理を確認できます。📊

最上行にはドライバーのバージョンと、ドライバーがサポートするCUDAの最大バージョンが表示されます。バージョンエラーが出たら、まずここを確認してください。

最初の表の行には、各GPUの名前とインデックス番号が表示されます。複数のカードがある場合、このインデックスで使用するデバイスを選びます。

Memory-Usage列には、使用中のVRAMと合計VRAMが表示されます。ほぼ満杯の場合、次のメモリ割り当てがout-of-memoryエラーで失敗する可能性があります。

GPU-Utilのパーセンテージは、コアがどの程度稼働しているかを示します。カーネルの実行中に数値が0のままなら、通常は処理がデバイスに届いていません。

Temp列と電力列から、温度面の状態を確認できます。高温が続くとGPUがスロットリングを起こし、カーネルの処理が気付かないうちに遅くなることがあります。

下部のProcessesテーブルには、現在GPUを使用しているすべてのプログラムが、PIDとメモリ使用量とともに表示されます。放置したジョブを見つけるのに便利です。

フラグを追加するとダッシュボードが1秒ごとにrefreshされるため、プログラムの実行中にメモリ使用量や使用率の変化を確認できます。

スクリプトでは、query modeを使うと、完全な表示テーブルではなく、指定したフィールドだけを解析しやすいテキストとして出力できます。

データセンター向けカードでは、nvidia-smiはECCエラー数と永続化モードも報告します。ノートパソコンやデスクトップでは、これらの項目は通常無効になっているか、表示されません。

複数のカードがある場合、-iフラグを使うとインデックスで指定した1台のGPUにレポートを絞り込めます。ジョブが使用しているデバイスだけを確認したいときに便利です。

これで、nvidia-smiの表示を本格的に読み取れるようになりました。上部にはドライバー情報、テーブルにはメモリと使用率、下部には実行中のプロセスが表示されます。一目見るだけで全体像が分かります。✅