cudaMalloc en cudaFree

Je GPU gebruikt niet het hoofdgeheugen van de computer. Hij heeft een afzonderlijke geheugenpool, globaal geheugen genoemd, waar kernels uit lezen en naar schrijven. 🧠

Voordat een kernel apparaatgeheugen kan gebruiken, reserveer je zelf een stuk geheugen. De functie die dit doet is cudaMalloc.

cudaMalloc neemt het adres van een pointer en een aantal bytes. De functie vult die pointer met een nieuw apparaatadres.

Je geeft &d_data door, zodat cudaMalloc het nieuwe adres terug kan schrijven naar je variabele. De geretourneerde waarde is gereserveerd voor een foutcode.

cudaMalloc werkt met onbewerkte bytes, niet met elementen. Vermenigvuldig het aantal elementen met sizeof(type), zodat de buffer de juiste grootte krijgt.

Wanneer je klaar bent met een buffer, geef je die met cudaFree terug aan de GPU. Zo komt het globale geheugen vrij voor ander werk.

Behandel cudaMalloc en cudaFree als een paar. Elke toewijzing die je doet, moet precies één bijbehorende vrijgave hebben.

Nieuw geheugen van cudaMalloc bevat willekeurige waarden. Als je het leest voordat je gegevens schrijft of kopieert, krijg je onvoorspelbare resultaten.

Als de GPU geen geheugen meer heeft, retourneert cudaMalloc een fout in plaats van te crashen. Controleer die geretourneerde foutcode altijd in echte code.

Buffers van cudaMalloc bevinden zich in het globale geheugen: gigabytes aan ruimte, maar wel de traagste geheugencategorie op de chip. Gebruik het royaal, maar let op de toegangspatronen.

Bijna elk CUDA-programma volgt hetzelfde ritme: cudaMalloc, gegevens kopiëren naar de GPU, een kernel starten, resultaten terugkopiëren en daarna cudaFree.

Je hebt geleerd GPU-geheugen te reserveren met cudaMalloc, gemeten in bytes, en het met cudaFree in bij elkaar horende paren vrij te geven. 🎉