Varför GPU:er behöver batchning

En GPU har tusentals kärnor som är byggda för att utföra samma beräkning på många objekt samtidigt. Matar du den med en indata står nästan alla kärnor stilla. 🐢

Att servera en enda prediktion per anrop utnyttjar knappt hårdvaran. GPU:n väntar mer än den beräknar, så ditt dyra kort står till största delen oanvänt.

En batch samlar många indata i en tensor och kör dem i ett enda pass. GPU:n utför ungefär samma arbete, men för många förfrågningar samtidigt.

Två tal är viktiga här. Genomströmning är hur många förutsägelser per sekund ni levererar; latens är hur länge en begäran väntar på sitt svar.

Att gruppera begäranden ökar genomströmningen dramatiskt eftersom den fasta kostnaden per anrop delas. Ni får betydligt fler förutsägelser från samma GPU.

Det finns en hake. För att skapa en batch måste servern vänta en kort stund på att fler begäranden ska anlända, vilket ökar latensen något för varje begäran.

Den enklaste formen är statisk batchning, där klienten själv skickar en batch med fast storlek. Det fungerar för offline-jobb, men inte för live-trafik med en begäran i taget.

Dynamisk batchning låter servern gruppera separata enskilda begäranden i farten. Triton Inference Server kan göra detta åt er utan ändringar i klienten.

NVIDIA Triton Inference Server hanterar modeller och innehåller en schemaläggare som automatiskt skapar batcher för att hålla GPU:n fullt sysselsatt.

En GPU med välfungerande batchning kan hantera många fler användare per krona. Batchning är ofta det billigaste sättet att sänka kostnaden för inferens innan ni köper mer hårdvara. 💰

Er uppgift är att hålla GPU:n sysselsatt utan att låta någon enskild användare vänta för länge. Resten av kursen handlar om att finjustera denna balans i Triton.

Ni såg att GPU:er behöver många indata samtidigt. Batchning grupperar begäranden för att öka genomströmningen till en liten latenskostnad, och Triton kan batcha dynamiskt åt er. 🙌