Configurare il batching dinamico in Triton

Triton carica i modelli da un repository dei modelli, una cartella in cui ogni modello ha una propria sottocartella contenente i pesi e un file di configurazione.

Ogni modello ha un file config.pbtxt accanto alla propria cartella di versione. Questo file di testo indica a Triton gli input, gli output e come pianificare le richieste.

Per attivare il batching, aggiunga un blocco dynamic_batching a config.pbtxt. Con un blocco vuoto, Triton utilizza subito impostazioni predefinite ragionevoli.

Al livello principale si imposta max_batch_size. Questo limita il numero di richieste che Triton unirà in una singola chiamata di inferenza, contenendo memoria e latenza.

Il parametro principale è max_queue_delay_microseconds. Indica per quanto tempo Triton attende raccogliendo richieste prima di avviare un batch non ancora completo.

Un ritardo breve mantiene bassa la latenza, ma con un carico leggero forma batch più piccoli. Un ritardo maggiore crea batch più grandi al costo di un'attesa superiore.

È possibile suggerire dimensioni efficienti con preferred_batch_size. Triton prova a comporre batch di queste dimensioni, che spesso corrispondono a quelle con cui il modello è più veloce.

Triton conserva le richieste in arrivo in una coda. Avvia l'elaborazione quando il batch raggiunge la dimensione massima, corrisponde a una dimensione preferita oppure scade il ritardo della coda.

Il vantaggio principale è che i client continuano a inviare richieste singole. Triton le unisce sul server, quindi il codice dell'applicazione rimane esattamente invariato.

Dopo aver modificato config.pbtxt, deve ricaricare il modello affinché Triton acquisisca la nuova pianificazione, riavviando il servizio oppure utilizzando la model control API.

Inizi con un max_batch_size moderato e un ritardo nella coda minimo, quindi aumenti entrambi controllando la latenza. Ottimizzare in base alle misurazioni è meglio che procedere per supposizioni.

Ha abilitato dynamic_batching in config.pbtxt, ne ha limitato la dimensione con max_batch_size e ha ottimizzato il ritardo della coda e le dimensioni preferite, senza modificare il client. 🙌