Analise e ajuste a latência da inferência

Você não pode ajustar o que não mede. Antes de alterar as configurações, registre valores reais de latência e vazão sob uma carga confiável. 📏

O Triton inclui o analisador_de_desempenho, uma ferramenta que sobrecarrega seu modelo com solicitações e informa a latência e a vazão para que você possa comparar configurações.

Você aponta o analisador_de_desempenho para um modelo, e ele envia solicitações sintéticas; depois, exibe as inferências por segundo e a decomposição da latência.

O sinalizador mais útil percorre a simultaneidade, ou seja, o número de solicitações em andamento. Ele revela como a vazão e a latência mudam à medida que a carga aumenta.

À medida que a simultaneidade aumenta, a vazão cresce e depois se estabiliza, enquanto a latência continua aumentando. O ponto de inflexão dessa curva é seu ponto operacional prático.

As médias ocultam os problemas. Observe a latência p95, o valor superado por 95% das solicitações, porque é a latência da cauda que os usuários realmente sentem.

Se a latência estiver alta demais, reduza microssegundos_máximos_de_atraso_da_fila. Se a vazão estiver baixa demais sob carga intensa, aumente-o para formar agrupamentos mais completos.

Se o GPU estiver subutilizado, adicione uma instância. Se a memória estiver no limite ou a vazão parar de crescer, remova uma. Altere um ajuste por vez e faça novas medições.

O ajuste é um ciclo, não um salto. Modifique uma configuração individual, execute novamente o analisador_de_desempenho, compare e mantenha a alteração somente se os números realmente melhorarem.

Decida primeiro seu orçamento, como p95 abaixo de 50 ms. Depois, aumente o tamanho do agrupamento e a quantidade de instâncias tanto quanto possível sem ultrapassar esse limite.

Os números do servidor não contam toda a história. Saltos de rede e código do cliente acrescentam tempo; portanto, meça também a latência de ponta a ponta a partir do local do usuário.

Você usou o analisador_de_desempenho para percorrer a simultaneidade, leu a curva de vazão e latência no p95 e ajustou o atraso da fila e as instâncias dentro de um orçamento, uma alteração por vez. 🙌