Beräknings- eller minnesbegränsad

Varje kernel stöter på en av två begränsningar. Den är antingen beräkningsbegränsad och begränsas av matematik, eller minnesbegränsad och begränsas av dataförflyttning. ⚖️

En beräkningsbegränsad kernel håller beräkningsenheterna sysselsatta och väntar sällan på minne. Begränsningen är den råa aritmetiska genomströmningen.

En minnesbegränsad kernel tillbringar sin tid med att vänta på data. Kärnorna står overksamma medan byte långsamt hämtas från globalt minne.

Det viktiga förhållandet är aritmetisk intensitet: antalet matematiska operationer per inläst byte. Hög intensitet pekar mot beräkningar, låg intensitet mot minne.

I ett roofline-diagram når kernels med låg intensitet det lutande minnestaket, medan kernels med hög intensitet når det plana beräkningstaket.

Att åtgärda fel begränsning slösar tid och arbete. Att lägga till matematik i en minnesbegränsad kernel förändrar ingenting; ni måste minska datatrafiken i stället.

För att snabba upp en minnesbegränsad kernel bör ni samordna åtkomster, återanvända data i delat minne och cacha värden för att läsa mindre.

För beräkningsbegränsat arbete kan ni öka parallellismen, använda snabbare matematik eller utnyttja tensor-kärnor för att passera beräkningstaket.

I praktiken är majoriteten av CUDA-kernels minnesbegränsade. Bandbredd, inte aritmetik, är vanligtvis den knappa resursen.

Gissa inte vilken begränsning som gäller. Roofline i Nsight Compute placerar automatiskt er kernel under rätt tak.

Ställ en fråga: ligger kärnorna eller minnesbussarna närmast topprestanda? Den resurs som är mättad visar vilken begränsning ni har.

Diagnostisera begränsningen först: minnesbegränsade kernels behöver mindre trafik, medan beräkningsbegränsade kernels behöver mer matematik. Roofline visar vilken som gäller. 👏