Apparaten inventariseren en selecteren

Op één machine kunnen meerdere GPU's aanwezig zijn. Om ze allemaal te gebruiken, moet uw programma eerst vaststellen hoeveel apparaten aanwezig zijn voordat het werk verstuurt.

Met één aanroep ziet u hoeveel GPU's de runtime kan zien. cudaGetDeviceCount schrijft dat aantal naar een int die u meegeeft.

Elke GPU krijgt een geheel getal als id, van 0 tot en met het aantal min één. Met die device-id verwijst u de runtime naar één specifieke kaart.

Met cudaSetDevice kiest u op welke GPU uw volgende aanroepen gericht zijn. Daarna gaan geheugenreserveringen en kernelstarts naar die kaart.

Op elk moment is precies één GPU het huidige apparaat voor de aanroepende thread. Elke cudaMalloc of kernelstart komt terecht op het apparaat dat op dat moment actief is.

Voordat u een GPU vertrouwt, kunt u de specificaties ervan uitlezen. cudaGetDeviceProperties vult een struct met de naam, geheugengrootte en rekenmogelijkheden.

De eigenschappenstructuur bevat veel informatie. Velden zoals name en totalGlobalMem helpen u de beste kaart te kiezen of een kaart over te slaan die te klein is.

Een pointer van cudaMalloc hoort bij de GPU die op dat moment actief was. Als u deze gebruikt terwijl een ander apparaat actief is, ontstaan er problemen.

Achter elke GPU bevindt zich een context met de geheugenreserveringen en streams ervan. Als u het huidige apparaat wisselt, schakelt u over naar de context van dat apparaat.

Een veelgebruikt patroon is een lus die voor elke id cudaSetDevice aanroept en daarna de configuratie op die kaart uitvoert. Zo verdeelt u het werk over elk apparaat.

Als een hulpfunctie het huidige apparaat wijzigt, schakelt u het na afloop terug. Als u het huidige apparaat gewijzigd achterlaat, kan de rest van uw code onverwacht gedrag vertonen.

U telt GPU's, kiest er één met cudaSetDevice en bekijkt deze met de eigenschappen. Elk apparaat heeft zijn eigen geheugen en context. Volgende onderwerp: werk over meerdere apparaten verdelen. ✨