Czym jest transakcja pamięci

GPU nigdy nie pobiera pojedynczego bajtu samodzielnie. Przesyła pamięć w blokach o stałym rozmiarze, nazywanych transakcjami pamięci, nawet jeśli zażądano tylko jednej wartości.

Warp złożony z 32 wątków wykonuje operacje wczytywania jednocześnie. Sprzęt zbiera wszystkie 32 żądania i próbuje obsłużyć je za pomocą jak najmniejszej liczby transakcji.

Pamięć globalna jest podzielona na wyrównane segmenty, zwykle o szerokości 32 lub 128 bajtów. Każda transakcja pobiera cały segment, nigdy tylko jego część.

Linia o rozmiarze 128 bajtów mieści dokładnie 32 liczby zmiennoprzecinkowe po cztery bajty. To jedna wartość na każdy wątek warpa, więc uporządkowany warp może zostać obsłużony przez pojedynczą transakcję.

Segmenty zaczynają się pod stałymi, wyrównanymi adresami. Jeśli dane zaczynają się w środku segmentu, pojedynczy warp może wykraczać na dwie linie i wymusić dodatkową transakcję.

Jeśli warp korzysta tylko z kilku bajtów linii o rozmiarze 128 bajtów, GPU i tak przesyła całe 128 bajtów. Nieużywane bajty to zmarnowana przepustowość, za którą mimo wszystko płacisz.

Wydajność często sprowadza się do jednej liczby: liczby transakcji potrzebnych warpowi. Mniej transakcji oznacza mniej odczytanych danych i szybsze zakończenie pracy.

Gdy 32 wątki odczytują 32 sąsiednie liczby zmiennoprzecinkowe z wyrównanego adresu, GPU odpowiada jedną pełną linią o rozmiarze 128 bajtów. To idealna pojedyncza transakcja.

Jeśli każdy wątek pobiera wartość oddaloną od wartości pobieranych przez sąsiadów, warp może wywołać nawet 32 osobne transakcje, pobierając 32 pełne linie dla niewielkiej ilości użytecznych danych.

Większość jąder ogranicza szybkość przesyłania pamięci, a nie obliczenia. Zmniejszenie liczby transakcji bezpośrednio zwiększa efektywną przepustowość. 🚀

Znasz już jednostkę kosztu: transakcję o rozmiarze segmentu. Wszystkie kolejne techniki koalescencji dotyczą w istocie upakowania warpów w jak najmniejszej liczbie takich transakcji.

Dowiedziałeś się, że GPU przesyła pamięć w stałych segmentach, a warp jest obsługiwany za pomocą najmniejszej możliwej liczby transakcji. Mniej transakcji oznacza szybsze jądro. 🎉