Metryki kerneli w Nsight Compute

Nsight Compute to mikroskop do badania pojedynczego kernela. Zbiera szczegółowe metryki sprzętowe, dzięki czemu możesz dokładnie zobaczyć, dlaczego kernel działa wolno. 🔬

Profilujesz kernel za pomocą ncu w wierszu poleceń. Narzędzie wielokrotnie odtwarza wykonanie kernela, aby zebrać szczegółowe liczniki.

Pierwszą rzeczą, którą należy odczytać, jest przepustowość: stopień zajętości jednostek obliczeniowych i ścieżek pamięci, przedstawiony jako procent ich wartości szczytowej.

Zatrzymanie to sytuacja, w której warp nie może zrobić postępu w bieżącym cyklu. Nsight Compute grupuje zatrzymania według przyczyny, dzięki czemu wiesz, co należy poprawić.

Jeśli większość zatrzymań dotyczy pamięci, kernel czeka na dane. Rozwiązaniem są lepsze wzorce dostępu lub ponowne wykorzystanie danych, a nie dodatkowe obliczenia.

Osiągnięte wykorzystanie zasobów pokazuje, ile warpów było faktycznie aktywnych w porównaniu z maksimum. Niskie wartości często oznaczają zbyt mało warpów, aby ukryć opóźnienia.

Roofline porównuje Twój kernel z ograniczeniami sprzętowymi. Położenie punktu wskazuje, czy ograniczeniem są obliczenia, czy pamięć.

Nsight Compute przedstawia zrozumiałe zalecenia. Wskazuje największe wąskie gardło, więc nie musisz od razu zgadywać.

Liczniki pamięci podręcznych L1 i L2 pokazują, jak często odczyty trafiają do pamięci podręcznej. Wyższe współczynniki trafień oznaczają mniej odwołań do wolnej pamięci globalnej.

Możesz wykonać porównanie różnic dwóch raportów wyświetlonych obok siebie. Dzięki temu od razu widać, czy ostatnia zmiana rzeczywiście poprawiła metryki.

Ponieważ narzędzie odtwarza kernele, narzut profilowania jest duży. Używaj go do badania jednego kernela naraz, a nie podczas zwykłego uruchomienia.

Raport kernela pokazuje głównie zatrzymania warpów związane z pamięcią.

Nsight Compute ujawnia metryki pojedynczego kernela: przepustowość, zatrzymania, wykorzystanie zasobów i wykres roofline. Użyj go, aby dokładnie potwierdzić, co należy zoptymalizować. 👏