Service haute performance avec Triton Inference Server

NVIDIA Triton Inference Server est un système de mise en service adapté à la production qui héberge plusieurs modèles simultanément sur CPU et GPU. Il prend en charge plusieurs moteurs (TensorRT, ONNX, PyTorch, TensorFlow, Python) derrière une seule interface HTTP/gRPC, avec traitement par lots et exécution concurrente intégrés.

Triton charge les modèles depuis un dépôt de modèles : un répertoire dans lequel chaque modèle possède son propre dossier, un sous-dossier de version numérique et un fichier config.pbtxt.

Le fichier config.pbtxt décrit la manière dont Triton doit exécuter un modèle. Le moteur (ou la plateforme) indique à Triton quel environnement d'exécution utiliser.

Vous déclarez chaque entrée et chaque sortie : son nom, son type de données et ses dimensions (sa forme). Les formes doivent correspondre à ce qu'attend le modèle. Une dimension initiale correspondant au lot est implicite avec max_batch_size.

Triton utilise des types de données explicites pour les tenseurs afin que les clients et le modèle s'accordent sur la disposition des octets :

• TYPE_FP32 nombre flottant sur 32 bits (courant pour les images)
• TYPE_FP16 précision réduite de moitié (plus rapide sur les GPU)
• TYPE_INT64 identifiants de jetons pour le TAL
• TYPE_INT8 modèles quantifiés

Le traitement par lots dynamique permet à Triton de combiner plusieurs requêtes entrantes en un lot plus volumineux avant d'exécuter le modèle. Les GPU sont bien plus efficaces avec de gros lots ; cette technique augmente donc considérablement le débit sans modifier le code client.

Vous l'activez dans la configuration et définissez la durée pendant laquelle Triton attend pour regrouper les requêtes. Une petite valeur de max_queue_delay_microseconds échange un peu de latence contre un débit bien plus élevé.

Par défaut, Triton exécute une seule copie (instance) d'un modèle. Avec instance_group, vous pouvez exécuter plusieurs instances en parallèle sur un ou plusieurs GPU, traiter simultanément des requêtes indépendantes et améliorer l'utilisation des ressources.

Ces mécanismes répondent à des problèmes différents :

• Traitement par lots dynamique : fusionne les requêtes en un seul appel au modèle (débit par appel)
• Instances simultanées : exécutent plusieurs appels au modèle à la fois (parallélisme)

Ils sont complémentaires ; les configurations de production utilisent souvent les deux.

perf_analyzer est un outil Triton qui soumet au serveur des requêtes synthétiques et indique le débit (inférences/s) ainsi que les centiles de latence. Utilisez-le pour trouver les paramètres de traitement par lots et d'exécution concurrente qui maximisent le débit dans les limites de latence que vous avez fixées.

L'outil fait varier les niveaux de concurrence et affiche le débit ainsi que la latence pour chacun. Vous recherchez le coude de la courbe : le point où augmenter la concurrence n'améliore plus le débit ou fait dépasser à la latence P95 votre limite.

Vérifiez vos connaissances sur Triton.

Vous avez appris à fournir un service haute performance avec Triton :

• Dépôt de modèles : dossiers propres à chaque modèle, avec des sous-répertoires de version et config.pbtxt
• config.pbtxt déclare le moteur, les formes des tenseurs d'entrée et de sortie ainsi que leurs types de données
• Le traitement par lots dynamique augmente le débit ; les instances simultanées ajoutent du parallélisme
• perf_analyzer mesure le débit par rapport à la latence pour ajuster les paramètres