Problemet med dataåteranvändning

En kernel kan vara korrekt men ändå långsam eftersom den om och om igen hämtar samma data från långsamt globalt minne. 🐢

På GPU:n är aritmetik billig, men åtkomst till globalt minne är dyr. Många kernlar väntar betydligt mer på minnet än de beräknar.

Dataåteranvändning innebär att ett värde som har lästs från globalt minne används i många beräkningar i stället för att läsas igen varje gång.

Föreställ dig att du suddar en bild. Varje utdatapixel beräknas som medelvärdet av sina grannar, så varje indatapixel läses av flera olika trådar.

I den suddningen läses värdet in[i] av trådarna i-1, i och i+1. Samma byte färdas tre gånger över den långsamma PCIe-bussen.

Med ett bredare fönster eller ett 2D-rutnät kan varje element läsas om dussintals gånger. Denna överflödiga datatrafik dominerar körtiden.

Globalt minne har en fast maximal bandbredd. Att läsa samma data upprepade gånger slösar den bandbredden på byte du redan har.

Medan warps väntar på upprepade läsningar från globalt minne står beräkningsenheterna stilla. Du har betalat för kärnor som knappt används. 😴

Aritmetisk intensitet är förhållandet mellan matematiska operationer och flyttade byte. Låg intensitet innebär att minnet, inte beräkningarna, begränsar dig.

Lösningen är att läsa in varje värde som behövs en gång i snabbt minne på chippet och sedan låta många trådar återanvända det därifrån.

Det snabba minnet på chippet är delat minne. Att mellanlagra data där är grunden för alla kommande optimeringar med tiles.

Naiva kernlar läser om delade data från globalt minne, vilket slösar bandbredd och får beräkningsenheterna att vänta. Tiling finns för att läsa in data en gång och återanvända den. ✅