Dlaczego istnieją bloki

Być może zastanawiasz się, dlaczego CUDA w ogóle grupuje wątki w bloki. Odpowiedź wiąże się z planowaniem i skalowaniem. 🤔

GPU przydziela całe bloki swoim multiprocesorom strumieniowym. Blok to fragment pracy planowany przez sprzęt jako jedna całość.

Bloki muszą działać niezależnie, w dowolnej kolejności i bez gwarantowanej komunikacji. Ta zasada sprawia, że kernel można przenosić między różnymi GPU.

Małe GPU uruchamia jednocześnie kilka bloków, a duże — wiele. Niezależność pozwala temu samemu kodowi skalować się bez zmiany choćby jednej linii.

Wątki w tym samym bloku współdzielą szybką pamięć układową i mogą się synchronizować. Taka ścisła współpraca jest możliwa tylko dlatego, że pozostają razem.

Bariera taka jak __syncthreads działa tylko wewnątrz bloku. W trakcie działania kernela nie ma wbudowanego sposobu na synchronizację całej siatki.

Gdyby bloki mogły czekać na siebie nawzajem, GPU mogłoby się zakleszczyć, jeśli nie byłoby w stanie zmieścić ich jednocześnie. Zachowanie niezależności bloków temu zapobiega.

Gdy jeden blok czeka na dane z pamięci, planista przełącza się na inny gotowy blok. Duża liczba bloków pozwala utrzymać rdzenie w ciągłej pracy.

Rejestry i pamięć współdzielona są przydzielane na blok. Mniejsze bloki pozwalają umieścić ich więcej jednocześnie na jednym multiprocesorze.

Dobre uruchomienie wykorzystuje znacznie więcej bloków, niż GPU ma multiprocesorów. Dodatkowe bloki dają planiście możliwość równoważenia pracy.

Bloki poświęcają więc globalną współpracę na rzecz ogromnej skalowalności. Rezygnujesz z synchronizacji między blokami, ale zyskujesz kod działający na dowolnym GPU.

Wiesz już, dlaczego istnieją bloki: są jednostką, którą można planować niezależnie, zapewniają skalowalność, a wątki wewnątrz nich mogą ściśle współpracować. 🚀