Analyser et ajuster la latence d’inférence
Utilisez perf_analyzer pour trouver le meilleur compromis.
Analyser et ajuster la latence d’inférence est une leçon MLOps Academy gratuite sur CoddyKit. Ceci est la leçon 4 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage MLOps Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours MLOps Academy comprend 4 leçons au total.
Régler à partir de mesures
Vous ne pouvez pas régler ce que vous ne mesurez pas. Avant de modifier les paramètres, recueillez des valeurs réelles de latence et de débit sous une charge fiable. 📏
Découvrir perf_analyzer
Triton est fourni avec perf_analyzer, un outil qui soumet votre modèle à de nombreuses requêtes et indique la latence et le débit afin que vous puissiez comparer les configurations.
Effectuer un test simple
Vous indiquez un modèle à perf_analyzer, qui envoie des requêtes synthétiques puis affiche le nombre d’inférences par seconde et le détail de la latence.
perf_analyzer -m my_modelBalayer la concurrence
Le paramètre le plus utile fait varier la concurrence, c’est-à-dire le nombre de requêtes en cours. Il montre comment le débit et la latence évoluent lorsque la charge augmente.
perf_analyzer -m my_model --concurrency-range 1:8Lire la courbe
Lorsque la concurrence augmente, le débit progresse puis plafonne, tandis que la latence continue d’augmenter. Le coude de cette courbe constitue votre point de fonctionnement pratique.
Utiliser les percentiles
Les moyennes masquent les difficultés. Surveillez la latence p95, la valeur que 95 % des requêtes ne dépassent pas, car c’est la latence en fin de distribution que les utilisateurs ressentent réellement.
Régler le délai de la file
Si la latence est trop élevée, réduisez max_queue_delay_microseconds. Si le débit est trop faible sous forte charge, augmentez cette valeur pour former des lots plus complets.
Régler les instances
Si le GPU est sous-utilisé, ajoutez une instance. Si la mémoire est insuffisante ou si le débit stagne, supprimez-en une. Ne modifiez qu’un paramètre à la fois et mesurez de nouveau.
Ne modifier qu’un seul élément
Le réglage est une boucle, pas un saut. Modifiez un paramètre unique, relancez perf_analyzer, comparez les résultats et ne conservez la modification que si les chiffres s’améliorent réellement.
Définir un budget de latence
Commencez par définir votre budget, par exemple une latence p95 inférieure à 50 ms. Augmentez ensuite la taille des lots et le nombre d’instances autant que possible tout en respectant cette limite.
Tenir compte de tout le parcours
Les chiffres du serveur ne racontent pas toute l’histoire. Les sauts réseau et le code client ajoutent du temps ; mesurez donc aussi la latence de bout en bout depuis l’emplacement de l’utilisateur.
Vérification rapide
Pourquoi privilégier la latence p95 à la latence moyenne lors du réglage ?
Récapitulatif
Vous avez utilisé perf_analyzer pour faire varier la concurrence, lire la courbe débit-latence au p95 et régler le délai de la file ainsi que le nombre d’instances dans les limites d’un budget, une modification à la fois. 🙌
Questions Fréquemment Posées
La leçon « Analyser et ajuster la latence d’inférence » est-elle gratuite ?
Oui — le texte complet de « Analyser et ajuster la latence d’inférence » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours MLOps Academy, passe à CoddyKit PRO. Le cours MLOps Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Analyser et ajuster la latence d’inférence » ?
Utilisez perf_analyzer pour trouver le meilleur compromis. Tu pratiques MLOps Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer MLOps Academy ?
Aucune expérience préalable n'est requise. MLOps Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 4 sur 4.
Combien de temps prend la leçon « Analyser et ajuster la latence d’inférence » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon MLOps Academy ?
Oui. Chaque leçon MLOps Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Pourquoi les GPU ont besoin du traitement par lots
- Configurer le traitement dynamique par lots dans Triton
- Exécuter plusieurs instances de modèle par GPU
- Analyser et ajuster la latence d’inférence