On-demand-sideflytning

Med administreret hukommelse har dataene ikke noget fast hjem. De flyttes ubemærket mellem CPU og GPU gennem on-demand-migrering af sider og følger det sted, hvor du bruger dem.

Systemet holder styr på hukommelsen i faste blokke, der kaldes sider, ofte på 4 KB eller 64 KB. Migreringen sker én side ad gangen, ikke byte for byte.

Når GPU'en bruger en side, der ligger på CPU'en, udløser den en sidefejl. Driveren sætter arbejdet på pause, kopierer siden over og lader derefter tråden fortsætte.

Reglen er enkel: Data migrerer til den, der bruger dem. Skriv på CPU'en, så ligger siderne dér; læs i en kerne, så flyttes de til GPU'en.

Omkostningen opstår ved den første adgang fra en ny side. Når siden er ankommet, er senere læsninger på den samme enhed hurtige og lokale.

Hvis CPU'en og GPU'en skiftevis bliver ved med at bruge de samme sider, hopper de frem og tilbage. Denne pingpong-migrering kan ubemærket ødelægge din gennemstrømning.

Hver sidefejl har en opsætningsomkostning, så tusindvis af små fejl er dyre. Migrering i store blokke er bedre end at udløse fejl for spredte sider én efter én.

Selv med automatisk migrering giver gode adgangsmønstre bedre resultater. Tråde, der læser nærliggende adresser, henter hele sider effektivt i stedet for at sprede sidefejlene.

Migrering lader dig allokere mere, end GPU'en kan rumme. Sider flyttes ind efter behov, og gamle sider fortrænges, så store datasæt stadig kan køre, blot langsommere.

Profileringsværktøjer som Nsight Systems viser trafik ved migrering og antal sidefejl. Når du opdager omfattende migrering, ved du præcis, hvor du senere skal tilføje tip.

On-demand-migrering er dejligt automatisk, men sidefejlene er ikke gratis. Når du kender omkostningen, kan du rette problemet med forhåndshentning og råd.

Du så, at administrerede sider migrerer ved en sidefejl til den, der bruger dem. Første adgang er langsom, pingpong gør ondt, og flytning i store blokke vinder. Videre! 🚀