Perfíle y ajuste la latencia de inferencia

No puede ajustar lo que no mide. Antes de cambiar la configuración, recopile cifras reales de latencia y throughput con una carga fiable. 📏

Triton incluye perf_analyzer, una herramienta que bombardea su modelo con solicitudes e informa de la latencia y el throughput para que pueda comparar configuraciones.

Indica un modelo a perf_analyzer y este envía solicitudes sintéticas; después muestra las inferencias por segundo y el desglose de la latencia.

El indicador más útil varía la concurrencia, es decir, el número de solicitudes en curso. Muestra cómo cambian el throughput y la latencia al aumentar la carga.

A medida que aumenta la concurrencia, el throughput crece y después se aplana, mientras la latencia sigue aumentando. El punto de inflexión de esa curva es su punto de operación práctico.

Los promedios ocultan los problemas. Observe la latencia p95, el valor que supera el 95 por ciento de las solicitudes, porque la latencia de cola es lo que realmente perciben los usuarios.

Si la latencia es demasiado alta, reduzca max_queue_delay_microseconds. Si el throughput es demasiado bajo con mucha carga, auméntelo para formar batches más completos.

Si la GPU está infrautilizada, añada una instance. Si la memoria es escasa o el throughput se estanca, elimine una. Cambie un solo parámetro cada vez y vuelva a medir.

El ajuste es un ciclo, no un salto. Modifique un único parámetro individual, vuelva a ejecutar perf_analyzer, compare y conserve el cambio solo si las cifras mejoran realmente.

Decida primero su presupuesto, por ejemplo, p95 por debajo de 50 ms. Después, aumente el tamaño de los batches y las instancias tanto como pueda sin superar ese límite.

Las cifras del servidor no cuentan toda la historia. Los saltos de red y el código del cliente añaden tiempo, así que mida también la latencia de extremo a extremo desde la ubicación del usuario.

Ha utilizado perf_analyzer para variar la concurrencia, ha leído la curva de throughput y latencia en p95 y ha ajustado el retraso de la cola y las instancias dentro de un presupuesto, cambiando una sola cosa cada vez. 🙌