Instruktionsnivåparallellism

Inuti en enda tråd kan GPU:n hålla flera oberoende instruktioner pågående samtidigt. Denna överlappning kallas instruction-level parallelism, eller ILP.

Minnes- och beräkningsoperationer tar många cykler att slutföra. Med tillräckligt mycket oberoende arbete per tråd kan hårdvaran dölja denna latency i stället för att stanna.

Om varje rad behöver resultatet från raden före kan inget överlappa. En lång dependency chain tvingar tråden att vänta steg för steg.

När operationer inte är beroende av varandra kan schemaläggaren utfärda dem efter varandra. Att dela upp kedjor i oberoende delar är kärnan i ILP.

Ett enkelt sätt att lägga till ILP är att låta varje tråd bearbeta flera element. De separata summorna blir oberoende arbete som hårdvaran kan överlappa.

Att summera i en enda variabel skapar en kedja. Om ni delar upp arbetet över flera ackumulatorer kan oberoende additioner köras parallellt innan ni kombinerar dem.

Efter loopen slår ni ihop era partiella ackumulatorer till det slutliga svaret. Det enda beroendet inträffar då en gång, inte vid varje iteration.

Att lagra fler värden per tråd använder fler register. Lite extra registertryck är vanligtvis värt den latens ni döljer, men se upp för spills.

GPU:er döljer stopp med många aktiva trådar och med ILP inuti varje tråd. Stark ILP kan hålla en SM upptagen även när occupancy är måttlig.

För att öka ILP bör ni leta efter den längsta dependency chain i er inre loop. Omstrukturera den till kortare, oberoende delar för att synliggöra mer parallellism.

För många oberoende värden kan orsaka registerspill och göra programmet långsammare. Justera ILP gradvis och låt profilern bekräfta att varje steg faktiskt hjälper.

Ni såg att ILP döljer latens genom att köra oberoende instruktioner tillsammans. Bryt beroendekedjor och använd flera ackumulatorer, men tänk på registertrycket. 🚀