Configurer le traitement dynamique par lots dans Triton

Triton charge les modèles depuis un dépôt de modèles, un dossier où chaque modèle possède son propre sous-dossier contenant les poids et un fichier de configuration.

Chaque modèle possède un fichier config.pbtxt à côté de son dossier de version. Ce fichier texte indique à Triton les entrées, les sorties et la manière d’ordonner les requêtes.

Vous activez le traitement par lots en ajoutant un bloc dynamic_batching à config.pbtxt. Avec un bloc vide, Triton utilise immédiatement des valeurs par défaut raisonnables.

Au niveau supérieur, vous définissez max_batch_size. Cette valeur limite le nombre de requêtes que Triton fusionne en un seul appel d’inférence, ce qui borne la mémoire utilisée et la latence.

Le paramètre essentiel est max_queue_delay_microseconds. Il indique combien de temps Triton attend en rassemblant les requêtes avant de déclencher un lot qui n’est pas encore complet.

Un court délai maintient une faible latence, mais forme de plus petits lots lorsque la charge est légère. Un délai plus long crée de plus gros lots, au prix d’une attente accrue.

Vous pouvez suggérer des tailles efficaces avec preferred_batch_size. Triton essaie de constituer des lots de ces tailles, qui correspondent souvent aux tailles avec lesquelles le modèle s’exécute le plus rapidement.

Triton conserve les requêtes entrantes dans une file d’attente. Il déclenche le traitement lorsque le lot atteint la taille maximale, correspond à une taille privilégiée ou lorsque le délai de la file expire.

Le meilleur aspect est que les clients continuent d’envoyer des requêtes individuelles. Triton les fusionne sur le serveur, de sorte que le code de votre application reste exactement le même.

Après avoir modifié config.pbtxt, vous rechargez le modèle afin que Triton prenne en compte la nouvelle planification, soit en redémarrant le service, soit via l’API de contrôle des modèles.

Commencez avec une valeur modérée pour max_batch_size et un délai de file très court, puis augmentez-les en surveillant la latence. Régler les paramètres à partir de mesures vaut mieux que deviner.

Quel champ de configuration contrôle la durée pendant laquelle Triton attend avant de déclencher un lot partiel ?

Vous avez activé dynamic_batching dans config.pbtxt, limité sa taille avec max_batch_size et réglé le délai de la file ainsi que les tailles privilégiées, le tout sans toucher au client. 🙌