Migrering av sidor vid behov

Med managed memory har data ingen fast hemvist. Den flyttas tyst mellan CPU och GPU genom on-demand page migration och följer efter där den används.

Systemet håller reda på minnet i fasta delar som kallas sidor, ofta 4 KB eller 64 KB. Migreringen sker en sida i taget, inte byte för byte.

När GPU:n använder en sida som finns på CPU:n uppstår ett sidfel. Drivrutinen pausar, kopierar över sidan och låter sedan tråden fortsätta.

Regeln är enkel: data migrerar till den som använder den. Skriv på CPU:n så finns sidorna där; läs i en kernel så flyttas de till GPU:n.

Kostnaden uppstår vid den första åtkomsten från en ny sida. När sidan har kommit fram är senare läsningar på samma enhet snabba och lokala.

Om CPU:n och GPU:n fortsätter att använda samma sidor växelvis studsar de fram och tillbaka. Denna pingpong-migrering kan i tysthet förstöra er genomströmning.

Varje sidfel medför startkostnader, så tusentals små sidfel blir dyra. Migrering i bulk är bättre än att utlösa sidfel för en spridd sida i taget.

Även med automatisk migrering lönar sig bra åtkomstmönster. Trådar som läser närliggande adresser hämtar hela sidor effektivt i stället för att sprida ut sidfelen.

Migrering gör det möjligt att allokera mer än vad GPU:n rymmer. Sidor flödar in efter behov och gamla sidor avlägsnas, så även stora datamängder kan köras, fast långsammare.

Profilerare som Nsight Systems visar migreringstrafik och antal sidfel. Om ni upptäcker omfattande migrering vet ni exakt var ni ska lägga till ledtrådar härnäst.

On-demand-migrering är underbart automatisk, men sidfelen är inte kostnadsfria. Genom att känna till kostnaden kan ni åtgärda den med förhämtning och råd.

Ni såg att managed-sidor migrerar vid ett sidfel till den som använder dem. Första åtkomsten är långsam, pingpong skadar och massförflyttning lönar sig. Nu går vi vidare! 🚀