Obłożenie to nie wszystko

Łatwo ulec pokusie dążenia do occupancy na poziomie 100%, ale maksymalne occupancy nie gwarantuje maksymalnej wydajności.

Occupancy ma znaczenie tylko dlatego, że pomaga ukrywać opóźnienia. Gdy opóźnienie jest już ukryte, dodatkowe warpy nie przynoszą żadnej korzyści.

Wiele kerneli osiąga maksymalną szybkość już przy occupancy wynoszącym 50%. Powyżej tego poziomu pojawiają się malejące korzyści, a optymalizacja innych elementów daje więcej.

Wątek wykonujący kilka niezależnych operacji samodzielnie ukrywa opóźnienia, więc potrzebuje mniej aktywnych warpów, aby zachować zajętość.

Czasami przydzielenie wątkom większej liczby rejestrów zmniejsza occupancy, ale przyspiesza kernel, ponieważ ogranicza ruch danych i przenoszenie rejestrów.

Jeśli kernel jest ograniczony przez przepustowość pamięci, dodanie warpów nie pomoże. Pomogą za to lepsze wzorce dostępu.

Gdy jednostki arytmetyczne są wysycone, kernel jest ograniczony obliczeniowo. Większe occupancy nie pozwoli przekroczyć tego limitu obliczeń.

Przed zmianą konfiguracji uruchomienia należy pozwolić narzędziu Nsight Compute określić, czy ograniczeniem jest pamięć, czy obliczenia.

Jedynym wiarygodnym sędzią jest czas wykonania. Należy wypróbować kilka rozmiarów bloków i wybrać ten, który działa najszybciej na rzeczywistych danych.

Traktuj niskie wykorzystanie jako wskazówkę, a nie wyrok. Zbadaj, dlaczego jest niskie, a następnie zdecyduj, czy jego zwiększenie rzeczywiście pomoże.

Dobre dostrajanie równoważy jednocześnie wykorzystanie zasobów, użycie rejestrów i działanie pamięci, optymalizując rzeczywiste wąskie gardło, a nie tylko jedną metrykę.

Przypomnij sobie, kiedy większe wykorzystanie zasobów przestaje pomagać kernelowi.

Nauczyłeś się, że wykorzystanie zasobów jest środkiem, a nie celem: ukrywaj opóźnienia, znajdź rzeczywiste wąskie gardło i pozwól, by to benchmarki podjęły decyzję. 🏁