Ponowne odtwarzanie grafów w celu ograniczenia narzutu

Graphy służą do tego, aby je odtwarzać. Jedno wywołanie uruchomienia przesyła całą zarejestrowaną sekwencję do GPU jednocześnie.

Odtwarzanie odbywa się za pomocą cudaGraphLaunch, któremu przekazuje się utworzony obiekt exec i strumień. To całe przesłanie pracy.

Zamiast dziesięciu uruchomień na krok ponosi się koszt uruchomienia po stronie CPU tylko raz dla całego grapha.

W solverze iteracyjnym wywołuje się uruchomienie w każdym kroku. Oszczędności amortyzują się w tysiącach identycznych iteracji.

Drogi etap instantiate odbywa się przed pętlą, więc każde odtworzenie w pętli pozostaje tanie.

Jeśli zmieniają się tylko parametry, należy użyć cudaGraphExecUpdate, aby zmodyfikować obiekt exec zamiast budować go od początku.

Korzyść jest największa w przypadku krótkich kerneli: gdy praca GPU trwa krótko, dominuje narzut uruchamiania, a graphy go eliminują.

Przesyłanie pracy partiami zmniejsza również zakłócenia po stronie CPU, dzięki czemu GPU pozostaje zajęte, a na osi czasu pojawia się mniej przerw.

Graphy zakładają stabilną strukturę. Jeśli wzorzec pracy zmienia się w każdym kroku, koszt ponownego budowania może przewyższyć oszczędności.

Po zakończeniu należy zwolnić oba obiekty za pomocą cudaGraphExecDestroy i cudaGraphDestroy, aby uniknąć wycieków.

Pełny cykl życia obejmuje trzy etapy: przechwycenie pracy, jednokrotne jej utworzenie instancji, a następnie wielokrotne odtwarzanie.

Do uruchomienia całej sekwencji jednym wywołaniem należy użyć cudaGraphLaunch, amortyzując koszt konfiguracji w kolejnych iteracjach. Obiekt można aktualizować bezpośrednio, a po zakończeniu należy go zwolnić. Dobra robota! 🏁