__shfl_down_sync voor reducties

Met een shuffle kan één baan rechtstreeks de registerwaarde van een andere baan lezen. Gegevens springen tussen threads zonder gedeeld geheugen en zonder tussenliggende barrière.

Het belangrijkste hulpmiddel voor reducties is shfl_down_sync. Elke baan haalt een waarde op uit een baan die een vast aantal posities hoger in de warp staat.

De aanroep krijgt een actief masker, de te delen waarde en een offset. Baan i ontvangt de waarde die wordt vastgehouden door baan i plus de offset.

Een warpsom telt de geshuffelde waarde er eenvoudig weer bij op. Baan i neemt het getal van zijn buur en voegt dat toe aan zijn eigen lopende totaal.

Net als bij een boomreductie begint de offset bij 16 en halveert die bij elke stap: 16, 8, 4, 2, 1. Na vijf stappen is de hele warp opgeteld.

Een warp heeft 32 banen en 2 tot de vijfde macht is 32. Daarom zijn vijf halveringsstappen precies genoeg om alle 32 waarden tot één waarde te combineren.

Na de lus staat het volledige warp-totaal in lane 0. De andere lanes bevatten gedeeltelijke rommel, dus alleen lane 0 mag het resultaat wegschrijven.

Omdat de uitwisseling synchroon via registers gebeurt, kun je syncthreads volledig overslaan. Het achtervoegsel _sync coördineert de gemaskeerde lanes al.

Een reductie met warp-shuffles is sneller dan de versie met gedeeld geheugen: minder instructies, geen bankconflicten en geen vertraging door barrières. Dit is het snelle pad voor de laatste 32 elementen.

Als sommige lanes al zijn gestopt, is een volledig masker onjuist. Leg de actieve set vast met activemask, zodat elke shuffle alleen aanwezige lanes aanraakt.

Bij grote reducties wordt elke warp vaak eerst met shuffles gereduceerd, waarna de warpresultaten in shared memory worden gecombineerd. Shuffles verwerken het goedkope binnenste niveau uitstekend.

Je hebt een warp opgeteld met shfl_down_sync: halveer de offset vijf keer en lane 0 bevat het totaal, zonder barrières. Hierna: ballot en vote. ✨