Inferentielatency profileren en optimaliseren

Je kunt niets afstellen wat je niet meet. Leg voordat je instellingen wijzigt echte waarden voor latentie en doorvoer vast onder betrouwbare belasting. 📏

Triton wordt geleverd met perf_analyzer, een hulpprogramma dat je model met aanvragen belast en latentie en doorvoer rapporteert, zodat je configuraties kunt vergelijken.

Je geeft perf_analyzer een model op. Het verstuurt vervolgens synthetische aanvragen en drukt het aantal inferenties per seconde en de uitsplitsing van de latentie af.

De nuttigste optie doorloopt verschillende waarden voor gelijktijdigheid, het aantal aanvragen dat gelijktijdig wordt uitgevoerd. Zo zie je hoe doorvoer en latentie veranderen wanneer de belasting toeneemt.

Naarmate de gelijktijdigheid toeneemt, stijgt de doorvoer eerst en vlakt die daarna af, terwijl de latentie blijft groeien. Het knikpunt van die curve is je praktische werkpunt.

Gemiddelden verbergen problemen. Let op de p95-latentie: de waarde die 95 procent van de aanvragen niet overschrijdt, omdat gebruikers vooral de latentie aan het uiteinde van de verdeling ervaren.

Als de latentie te hoog is, verlaag je max_queue_delay_microseconds. Als de doorvoer bij zware belasting te laag is, verhoog je deze waarde om vollere batches te vormen.

Als de GPU onvoldoende wordt gebruikt, voeg je een instantie toe. Als het geheugen krap is of de doorvoer stagneert, verwijder je er een. Wijzig steeds één instelling en meet opnieuw.

Afstellen is een herhalend proces, geen sprong. Pas één instelling aan, voer perf_analyzer opnieuw uit, vergelijk de resultaten en behoud de wijziging alleen als de cijfers echt verbeteren.

Bepaal eerst je budget, bijvoorbeeld p95 onder 50 ms. Verhoog daarna de batchgrootte en het aantal instanties zo ver mogelijk, zolang je binnen die limiet blijft.

De cijfers van de server vertellen niet het hele verhaal. Netwerksprongen en clientcode voegen tijd toe, dus meet ook de latentie van begin tot eind vanaf de locatie van de gebruiker.

Je hebt perf_analyzer gebruikt om de gelijktijdigheid te doorlopen, de curve van doorvoer en latentie bij p95 gelezen en de wachtrijvertraging en instanties binnen een budget afgesteld, steeds met één wijziging tegelijk. 🙌