Vektorisera kod med SIMD

Välkommen till den sista lektionen om SIMD! Ni har fått lära er om SSE/AVX-register och instruktioner. Nu ska vi sätta ihop allt för att vektorisera kod.

Vektorisering är en kompilatoroptimering eller en manuell kodningsteknik som omvandlar loopar så att de utför operationer på flera dataelement samtidigt, i stället för ett i taget.

Föreställ er att ni adderar två listor med tal. En traditionell (skalar) metod adderar ett par i taget. Med vektorisering och SIMD kan ni addera flera par i en enda instruktion.

• Skalärt: A[0]+B[0], sedan A[1]+B[1] och så vidare.
• SIMD: (A[0], A[1], A[2], A[3]) + (B[0], B[1], B[2], B[3]) på en gång!

Denna parallella bearbetning gör repetitiva uppgifter på stora datamängder dramatiskt snabbare.

För optimal SIMD-prestanda bör era data vara justerade i minnet. Det innebär att startadressen för ert datablock bör vara en multipel av vektorstorleken (till exempel 16 byte för SSE och 32 byte för AVX).

• Justerad åtkomst: Snabbare och använder instruktioner som MOVAPS.
• Ojusterad åtkomst: Långsammare och använder instruktioner som MOVUPS, eftersom processorn behöver utföra extra arbete för att hämta data.

Korrekt justering hjälper processorn att hämta data effektivare och undvika prestandaförluster.

För att arbeta med data i SIMD-register måste ni först läsa in dem från minnet. Här är vanliga instruktioner för flyttal med enkel precision (PS):

• MOVAPS XMM0, [mem]: Flyttar 4 justerade flyttal med enkel precision från minnet till XMM0.
• MOVUPS XMM0, [mem]: Flyttar 4 ojusterade flyttal med enkel precision från minnet till XMM0.

Försök alltid använda MOVAPS om era data garanterat är justerade, så får ni bättre prestanda.

När data finns i SIMD-register kan ni utföra operationer på alla element samtidigt. Om ni till exempel vill addera två vektorer med flyttal med enkel precision:

• ADDPS XMM0, XMM1: Adderar motsvarande packade flyttal med enkel precision i XMM1 till XMM0. Resultatet lagras i XMM0.

Denna enda instruktion utför fyra separata additioner parallellt!

När data har bearbetats i SIMD-register vill ni lagra resultaten tillbaka i minnet. Precis som vid inläsning finns det instruktioner för både justerad och ojusterad lagring:

• MOVAPS [mem], XMM0: Lagrar 4 justerade flyttal med enkel precision från XMM0 till minnet.
• MOVUPS [mem], XMM0: Lagrar 4 ojusterade flyttal med enkel precision från XMM0 till minnet.

Prioritera återigen MOVAPS vid lagring om målminnet är justerat.

Vi ska titta på ett enkelt exempel där två arrayer med flyttal med enkel precision adderas med SSE-instruktioner. Programmet adderar array1 och array2 och lagrar resultatet i result.

Vi bearbetar 4 flyttal åt gången i en loopliknande ordning och flyttar 16 byte (4 flyttal) per steg.

Utöver ADDPS tillhandahåller SSE/AVX ett stort antal instruktioner för olika packade operationer:

• SUBPS: Subtraherar packade flyttal med enkel precision.
• MULPS: Multiplicerar packade flyttal med enkel precision.
• DIVPS: Dividerar packade flyttal med enkel precision.
• ANDPS, ORPS, XORPS: Bitvisa logiska operationer på packade flyttal.
• Jämförelseinstruktioner (till exempel CMPPS): Jämför packade flyttal.

Det viktiga är att alla arbetar med flera dataelement samtidigt.

Vektorisering är en kraftfull optimering, men den är inte alltid nödvändig eller fördelaktig. Tänk på följande:

• Stora datamängder: Mest effektivt för loopar som bearbetar många element.
• Repetitiva operationer: Idealiskt för identiska operationer som tillämpas på många dataelement.
• Dataarrangemang: Fungerar bäst med sammanhängande, justerade data.
• Omkostnader: Små loopar kan få större omkostnader av att konfigurera vektorregister än den hastighetsökning som uppnås.

Kompilatorer kan ofta autovektorisera, men manuell vektorisering ger er detaljerad kontroll.

Bra jobbat! Nu har ni lärt er att använda SSE/AVX-instruktioner för att vektorisera er kod.

• Vektorisering utför operationer på flera dataelement samtidigt.
• Korrekt datajustering är avgörande för optimal prestanda.
• Instruktioner som MOVAPS, ADDPS och MOVAPS används för att läsa in, bearbeta och lagra packade data.
• Vektorisering är mycket effektiv för repetitiva operationer på stora, sammanhängande datamängder.

Med denna kraftfulla teknik kan ni uppnå betydande prestandavinster i era x86-assemblerprogram. Fortsätt öva!