Co naprawdę oznacza obłożenie

Każdy rdzeń GPU, nazywany SM, może jednocześnie utrzymywać wiele aktywnych warpów. Occupancy mierzy, jak duża część tej pojemności jest rzeczywiście wykorzystywana. 🎯

Occupancy to stosunek aktywnych warpów na SM do maksymalnej liczby warpów, które ten SM może pomieścić. Więcej aktywnych warpów oznacza lepsze wypełnienie urządzenia.

Gdy jeden warp zatrzyma się podczas powolnego odczytu z pamięci, SM natychmiast uruchamia inny gotowy warp. W ten sposób GPU ukrywa opóźnienia.

Każda architektura wyznacza limit, często wynoszący 64 warpy na SM. Occupancy porównuje kernel z tym ograniczeniem sprzętowym.

Occupancy teoretyczne to wartość, na którą pozwala konfiguracja uruchomienia. Occupancy osiągnięte to wartość rzeczywista, zmierzona przez profiler.

Jeśli SM mieści 64 warpy, ale kernel utrzymuje aktywne tylko 32, jego occupancy wynosi 50%. Połowa możliwości ukrywania opóźnień pozostaje niewykorzystana.

Occupancy zawsze liczy się w warpach, nigdy w pojedynczych wątkach. Warp składa się z 32 wątków, więc blok zawierający 256 wątków ma dokładnie 8 warpów.

Harmonogram dzieli każdy aktywny blok na warpy. Dlatego liczba bloków na SM pomnożona przez liczbę warpów w bloku daje liczbę aktywnych warpów.

Occupancy ograniczają trzy zasoby: rejestry przypadające na wątek, pamięć współdzielona przypadająca na blok oraz limit warpów SM. Decyduje najciaśniejsze ograniczenie.

Większe occupancy zazwyczaj lepiej ukrywa opóźnienia, ale po przekroczeniu pewnego poziomu nie przynosi żadnej dodatkowej korzyści. To narzędzie, a nie cel sam w sobie.

Profilery, takie jak Nsight Compute, pokazują osiągnięte occupancy bezpośrednio przy kernelu. Ta wartość jest punktem wyjścia do optymalizacji.

Nauczył się Pan/Nauczyła się Pani, że occupancy to stosunek aktywnych warpów do maksymalnej liczby warpów SM, liczony w warpach i umożliwiający ukrywanie opóźnień. 🚀