Профессиональная работа с nvidia-smi

Считайте nvidia-smi панелью управления Вашим GPU. Одна команда показывает модель, память, температуру и текущие процессы. 📊

В самой верхней строке указаны версия драйвера и максимальная версия CUDA, которую он поддерживает. Проверяйте её первой при появлении ошибки версии.

В первой строке таблицы указаны имя каждого GPU и его порядковый номер. Если видеокарт несколько, по этим номерам Вы выбираете нужное устройство.

Столбец Memory-Usage показывает использованный и общий объём VRAM. Если память почти заполнена, следующая попытка выделения может завершиться ошибкой нехватки памяти.

Процент GPU-Util показывает, насколько загружены вычислительные блоки. Если во время работы ядра значение постоянно равно нулю, обычно это означает, что задача не достигла устройства.

Столбцы Temp и питания показывают состояние системы охлаждения. Длительная высокая температура может заставить GPU снизить частоту и незаметно замедлить выполнение ядер.

В нижней таблице Processes перечислены все программы, которые сейчас используют GPU, а также их PID и объём занятой памяти. Это удобно для поиска забытой задачи.

Добавьте параметр, чтобы обновлять панель каждую секунду и наблюдать, как меняются использование памяти и загрузка во время работы программы.

Для сценариев режим запроса выводит только запрошенные Вами поля в виде чистого текста, удобного для разбора, вместо полной визуальной таблицы.

На серверных видеокартах nvidia-smi также показывает количество ошибок ECC и режим сохранения состояния. На ноутбуках и настольных компьютерах эти поля обычно отключены или отсутствуют.

Если видеокарт несколько, параметр -i ограничивает отчёт одной видеокартой, выбранной по индексу. Это удобно, когда Вас интересует только устройство, используемое Вашей задачей.

Теперь Вы умеете профессионально читать вывод nvidia-smi: строка драйвера находится сверху, память и загрузка — в таблице, а текущие процессы — внизу. Один взгляд рассказывает всю историю. ✅