Profilare e ottimizzare la latenza dell'inferenza

Non è possibile ottimizzare ciò che non si misura. Prima di modificare le impostazioni, raccolga valori reali di latenza e throughput sotto un carico affidabile. 📏

Triton include perf_analyzer, uno strumento che sottopone il modello a numerose richieste e restituisce latenza e throughput, così può confrontare le configurazioni.

Indichi un modello a perf_analyzer: lo strumento invierà richieste sintetiche, quindi mostrerà le inferenze al secondo e la suddivisione della latenza.

L'opzione più utile varia la concorrenza, cioè il numero di richieste contemporaneamente in esecuzione. Mostra come cambiano throughput e latenza all'aumentare del carico.

All'aumentare della concorrenza, il throughput cresce e poi si stabilizza, mentre la latenza continua ad aumentare. Il punto di flesso della curva è il Suo punto operativo pratico.

Le medie nascondono i problemi. Controlli la latenza p95, il valore al di sotto del quale rientra il 95% delle richieste, perché è la latenza di coda che gli utenti percepiscono davvero.

Se la latenza è troppo alta, riduca max_queue_delay_microseconds. Se il throughput è troppo basso sotto carico intenso, lo aumenti per creare batch più completi.

Se la GPU è utilizzata poco, aggiunga un'istanza. Se la memoria è scarsa o il throughput si blocca, ne rimuova una. Modifichi un solo parametro alla volta e misuri di nuovo.

L'ottimizzazione è un ciclo, non un salto. Modifichi una sola impostazione, esegua di nuovo perf_analyzer, confronti i risultati e mantenga la modifica solo se i numeri migliorano davvero.

Decida prima il Suo budget, ad esempio p95 inferiore a 50 ms. Poi aumenti dimensione dei batch e numero di istanze fin dove possibile, restando entro quel limite.

I numeri del server non raccontano tutta la storia. I passaggi di rete e il codice del client aggiungono tempo, quindi misuri anche la latenza end-to-end dal punto in cui si trova l'utente.

Ha utilizzato perf_analyzer per variare la concorrenza, ha analizzato la curva throughput-latenza al p95 e ha ottimizzato il ritardo della coda e le istanze rispettando un budget, una modifica alla volta. 🙌