De Occupancy Calculator-API

In plaats van handmatig af te stemmen biedt CUDA een occupancy-API die automatisch een goede blokgrootte voor je kernel berekent.

Eén aanroep doet het zware werk: cudaOccupancyMaxPotentialBlockSize stelt een blokgrootte voor die occupancy maximaliseert.

De functie vult een voorgestelde blokgrootte in en de minimale rastergrootte die nodig is om het apparaat voor je kernel volledig te benutten.

De API leest het werkelijke gebruik van registers en gedeeld geheugen door je kernel, zodat de suggestie bij precies die kernel past en niet bij een algemene aanname.

Een verwante aanroep rapporteert hoeveel actieve blokken per SM een configuratie oplevert, zodat je occupancy kunt voorspellen voordat je start.

Vermenigvuldig het aantal blokken per SM met het aantal warps per blok, deel dit door het maximale aantal warps van de SM en je krijgt het percentage theoretische occupancy.

Deze aanroepen accepteren een argument voor dynamisch gedeeld geheugen, zodat de voorspelling nauwkeurig blijft wanneer je kernel de hoeveelheid gedeeld geheugen bij het starten bepaalt.

Omdat de functie het actieve apparaat bevraagt, kiest dezelfde code goede groottes op verschillende GPU's, zonder dat je getallen hard hoeft te coderen.

Roep de occupancy-API één keer aan tijdens de initialisatie, bewaar de blokgrootte en gebruik deze vervolgens opnieuw bij elke start van die kernel.

De voorgestelde grootte is een uitstekend uitgangspunt. Je kunt nog steeds enkele nabijgelegen waarden benchmarken om de echte beste keuze voor je gegevens te vinden.

Hardgecodeerde groottes zoals 256 werken niet meer wanneer bronnen veranderen. De API past zich aan en houdt je kernel automatisch dicht bij maximale occupancy.

Je hebt kennisgemaakt met de occupancy-API: deze stelt een overdraagbare, kernelbewuste blokgrootte voor en voorspelt occupancy voordat je ook maar één keer start. ⚙️