Profesjonalne odczytywanie nvidia-smi

Proszę traktować nvidia-smi jak panel kontrolny GPU. Jedno polecenie pokazuje model, pamięć, temperaturę oraz to, co jest aktualnie uruchomione. 📊

Pierwsza linia pokazuje wersję sterownika i maksymalną obsługiwaną przez niego wersję CUDA. To tutaj należy zajrzeć najpierw, gdy pojawi się błąd wersji.

Pierwszy wiersz tabeli zawiera nazwę każdego GPU i numer indeksu. Przy kilku kartach właśnie za pomocą tych indeksów wybiera się urządzenie do użycia.

Kolumna Memory-Usage pokazuje wykorzystaną i całkowitą pamięć VRAM. Jeśli jest prawie pełna, kolejna alokacja może zakończyć się błędem braku pamięci.

Procent GPU-Util informuje, jak intensywnie pracują rdzenie. Wartość, która pozostaje na poziomie zera podczas działania kernela, zwykle oznacza, że zadanie nie trafiło na urządzenie.

Kolumny Temp i zasilania pokazują stan termiczny. Utrzymująca się wysoka temperatura może spowodować obniżenie taktowania GPU i niezauważalne spowolnienie kernelów.

Dolna tabela Processes zawiera listę wszystkich programów, które obecnie używają GPU, wraz z ich PID-ami i zajętością pamięci. To świetny sposób na znalezienie zapomnianego zadania.

Dodaj flagę, aby odświeżać panel co sekundę i obserwować zmiany pamięci oraz wykorzystania podczas działania programu.

W przypadku skryptów query mode wyświetla tylko wskazane pola jako czysty tekst, który można łatwo analizować, zamiast pełnej tabeli wizualnej.

Na kartach do centrów danych nvidia-smi raportuje również liczbę błędów ECC i tryb persistence. W laptopach i komputerach stacjonarnych te pola są zwykle wyłączone lub niedostępne.

W przypadku wielu kart flaga -i ogranicza raport do pojedynczego GPU wskazanego indeksem. Przydaje się, gdy interesuje Pana/Panią tylko urządzenie używane przez zadanie.

Potrafi już Pan/Pani czytać nvidia-smi jak profesjonalista: u góry znajduje się wiersz sterownika, w tabeli pamięć i wykorzystanie, a na dole aktywne procesy. Jedno spojrzenie wystarczy, aby zobaczyć pełny obraz. ✅