Gescheiden adresruimten

De CPU en GPU hebben elk hun eigen RAM. Ze delen niet één adresruimte, en dat ene feit bepaalt de werking van heel CUDA. 🧠

Een pointer is slechts een getal dat een plek in het geheugen aanduidt. Die plek heeft alleen betekenis in de adresruimte waarin deze is gemaakt.

Een pointer van malloc verwijst naar hostgeheugen. De GPU heeft zo'n plek niet, dus als je deze aan een kernel doorgeeft, verwijst hij nergens geldig naar.

Een pointer van cudaMalloc verwijst naar apparaatgeheugen. De CPU kan dit niet rechtstreeks lezen; als je deze op de host dereferentieert, crasht het programma.

Een hostpointer doorgeven aan een kernel compileert zonder problemen, maar faalt tijdens het uitvoeren. Het getal is geldig; het geheugen waarnaar het verwijst bevindt zich alleen niet op de GPU.

Beide pointers zien er voor C++ uit als hetzelfde type, dus de compiler blijft stil. De mismatch veroorzaakt pas problemen wanneer de GPU het adres aanraakt.

Om gegevens tussen adresruimten te verplaatsen, moet je ze expliciet kopiëren met cudaMemcpy. Er is geen automatische deling over deze scheiding heen.

Veel programmeurs zetten h_ voor hostpointers en d_ voor apparaatpointers. Deze gewoonte voorkomt pijnlijke vergissingen.

Binnen een kernel moet elke pointer die je dereferentieert in apparaatgeheugen staan. Dat is de enige ruimte die de GPU-threads kunnen bereiken.

Later maak je kennis met unified memory, waarbij één pointer aan beide kanten geldig is. Houd host- en apparaatpointers voorlopig strikt gescheiden.

Stel je twee kamers voor zonder gedeelde planken. Om gegevens in de andere kamer te gebruiken, moet je een kopie meenemen; je kunt nooit simpelweg naar de andere kamer verwijzen.

Je hebt geleerd dat host en apparaat in afzonderlijke adresruimten leven, dat pointers niet onderling uitwisselbaar zijn en dat cudaMemcpy gegevens over de kloof verplaatst. ✅