Konfigurér dynamisk batching i Triton

Triton indlæser modeller fra et modelarkiv, en mappe hvor hver model har sin egen undermappe med vægte og en konfigurationsfil.

Hver model får en config.pbtxt ved siden af sin versionsmappe. Denne tekstfil fortæller Triton, hvilke input og output der findes, samt hvordan forespørgsler skal planlægges.

Du slår batching til ved at føje en blok med dynamic_batching til config.pbtxt. Med en tom blok bruger Triton straks fornuftige standardindstillinger.

På øverste niveau indstiller du max_batch_size. Den begrænser, hvor mange forespørgsler Triton samler i ét inferenskald, og sætter dermed en grænse for hukommelse og forsinkelse.

Den vigtigste indstilling er max_queue_delay_microseconds. Den angiver, hvor længe Triton venter på at samle forespørgsler, før den sender en batch, der endnu ikke er fuld.

En kort forsinkelse holder forsinkelsen lav, men danner mindre batches ved lav belastning. En længere forsinkelse danner større batches på bekostning af mere ventetid.

Du kan angive effektive størrelser med preferred_batch_size. Triton forsøger at samle batches med disse størrelser, som ofte passer til det, modellen kører hurtigst med.

Triton holder indkommende forespørgsler i en kø. Den sender dem, når batchen når den maksimale størrelse, passer til en foretrukken størrelse, eller køforsinkelsen udløber.

Det bedste er, at klienter stadig sender enkeltforespørgsler. Triton samler dem på serveren, så din programkode forbliver præcis den samme.

Efter redigering af config.pbtxt genindlæser du modellen, så Triton henter den nye planlægning, enten ved at genstarte eller via modelstyrings-API'et.

Begynd med en moderat max_batch_size og en meget lille køforsinkelse, og øg dem derefter, mens du holder øje med forsinkelsen. Finjustering baseret på målinger er bedre end gætteri.

Du aktiverede dynamic_batching i config.pbtxt, satte en grænse med max_batch_size og finjusterede køforsinkelsen og de foretrukne størrelser – alt sammen uden at ændre klienten. 🙌