Przechwytywanie pracy do grafu

CUDA graph rejestruje całą sekwencję kerneli i operacji kopiowania jako jedną wielokrotnego użytku jednostkę pracy, którą można przesyłać ponownie.

Każde pojedyncze uruchomienie kernela wiąże się z niewielkim narzutem po stronie CPU. Przy tysiącach uruchomień na iterację ten koszt staje się znaczący.

Graph pozwala opisać pracę raz, a następnie tanio ją odtwarzać, ponosząc koszt konfiguracji tylko jeden raz.

Najłatwiejszym sposobem jego utworzenia jest stream capture: rejestruje się w strumieniu zwykłe uruchomienia, które i tak są już wykonywane.

Pomiędzy początkiem a końcem przechwytywania należy uruchamiać kernele i operacje kopiowania jak zwykle. Nic nie jest jeszcze wykonywane — operacje są rejestrowane, a nie uruchamiane.

Rejestrowanie kończy się za pomocą cudaStreamEndCapture, która zwraca cudaGraph_t opisujący całą pracę.

Przechwytywanie automatycznie określa zależności między operacjami na podstawie sposobu użycia strumienia.

Graph jest tylko opisem. Przed uruchomieniem należy skompilować go do obiektu graph exec, który można wykonywać.

Można także dodawać węzły jawnie za pomocą graph API, aby uzyskać pełną kontrolę nad strukturą i krawędziami.

Przechwytywanie może obejmować kilka strumieni, dzięki czemu niezależne gałęzie wykonywane współbieżnie trafiają do tego samego grapha.

Po utworzeniu instancji ten sam obiekt exec jest uruchamiany wielokrotnie — właśnie wtedy graphy pokazują swoją wartość.

Co zwraca cudaStreamEndCapture?

Należy umieścić uruchomienia w ramach stream capture, aby zarejestrować cudaGraph_t, utworzyć jego instancję raz, a zależności zostaną określone automatycznie. Świetne postępy! 🎉