Évaluation, déploiement et bilan rétrospectif

Un système n’est pas prêt à être déployé tant qu’il n’a pas été évalué de bout en bout dans des conditions réelles. La phase d’évaluation finale combine toutes les techniques apprises dans ce parcours : les métriques de recherche pour vérifier que le pipeline RAG trouve les bons segments, les scores d’évaluation par LLM juge pour vérifier la qualité des réponses, les tests de charge pour vérifier les SLA de latence et l’analyse de sécurité pour vérifier le renforcement. Tout doit être validé avant le début du déploiement.

Exécutez la suite d’évaluation complète dans votre environnement de préproduction à l’aide d’un échantillon représentatif de requêtes semblables à celles de la production. Enregistrez toutes les métriques : taux de succès, MRR et NDCG pour la recherche ; fidélité et pertinence de la réponse pour la génération ; coût par requête ; latence p50/p95/p99. Comparez chaque métrique aux critères de réussite définis lors de la phase d’architecture. Ne déployez pas le système tant que tous les seuils minimaux stricts ne sont pas atteints.

Exécutez un test de charge simulant un trafic de production réaliste avant la mise en ligne. Utilisez un outil comme Locust ou k6 pour augmenter progressivement la charge jusqu’à la concurrence maximale prévue (par exemple, 50 utilisateurs simultanés) et mesurez l’évolution de la latence sous charge. Vérifiez que les disjoncteurs ne se déclenchent pas sous une charge normale, que le limiteur de débit renvoie correctement des réponses 429 lors des pics de trafic et que le taux de succès du cache sémantique reste supérieur à votre objectif. Corrigez toute régression avant de poursuivre.

Déployez selon une stratégie de déploiement bleu-vert : démarrez la nouvelle version (verte) à côté de la version existante (bleue), exécutez des tests de bon fonctionnement sur la version verte, puis transférez progressivement le trafic de la version bleue vers la version verte. Commencez avec 5 % du trafic sur la version verte, surveillez les taux d’erreur et la latence pendant 10 minutes, puis passez à 25 %, ensuite à 50 % et enfin à 100 %. Vous pouvez ainsi revenir instantanément à la version bleue en cas de problème, sans aucune interruption de service.

Après le déploiement, surveillez activement les métriques clés pendant les deux premières heures. Surveillez : le taux d’erreur (objectif <1 %), la latence p95 (objectif <8 s), le taux de succès du cache (objectif >20 %) et le coût par requête (objectif <$0.05). Créez un canal Slack de cellule de crise réunissant tous les ingénieurs d’astreinte pour le premier déploiement. Le franchissement d’un seuil d’avertissement déclenche une investigation ; le franchissement d’un seuil critique déclenche un retour immédiat à la version bleue.

Après une semaine de fonctionnement du système, rédigez un document de bilan qui expose ce qui a fonctionné, ce qui n’a pas fonctionné et ce que vous feriez différemment. Un bon bilan rend honnêtement compte des échecs et présente précisément les enseignements tirés. Les futurs lecteurs — y compris vous-même dans six mois — tireront profit de la compréhension du raisonnement qui a guidé les décisions prises sous la pression du temps et des obstacles imprévus rencontrés.

Rédigez des guides d’intervention pour chaque alerte susceptible de se déclencher en production. Un guide d’intervention est une procédure détaillée, étape par étape, pour diagnostiquer et résoudre une alerte donnée. Il doit répondre aux questions suivantes : que signifie cette alerte, quelle en est la cause probable, comment la diagnostiquer et comment la corriger ? Les guides d’intervention réduisent le temps moyen de résolution (MTTR) de plusieurs heures à quelques minutes en évitant de devoir réfléchir aux étapes du diagnostic pendant un incident stressant.

Après un mois en production, mesurez l’impact métier au-delà des indicateurs techniques. Pour un assistant de questions-réponses : de combien le volume de demandes adressées au support a-t-il diminué ? Quel est le taux de satisfaction des utilisateurs concernant les requêtes auxquelles l’IA a répondu ? Combien de requêtes le système a-t-il traitées alors qu’elles nécessitaient auparavant l’intervention d’agents humains du support ? Ces indicateurs métier justifient l’investissement et orientent la priorisation future entre les améliorations de la qualité et les nouvelles fonctionnalités.

Un système mis en production n’est jamais terminé : il constitue une base pour une amélioration continue. Utilisez vos données d’évaluation, les retours des utilisateurs et les enseignements de la rétrospective pour planifier la prochaine itération. Donnez la priorité aux améliorations qui ont le plus fort impact sur les indicateurs les plus importants : si le taux de réussite de la recherche constitue le facteur limitant, investissez dans un meilleur découpage en segments ou dans un autre modèle d’incorporation ; si la satisfaction des utilisateurs est faible malgré une bonne recherche, investissez dans la qualité des instructions.

Rédigez une documentation décrivant les principales décisions d’implémentation non évidentes du système. Il s’agit notamment de préciser pourquoi cette taille de segment a été choisie (et ce que les expériences ont montré), comment le seuil de similarité du cache sémantique a été étalonné, quels motifs d’injection le filtre détecte actuellement et lesquels lui échappent, ainsi que la manière d’ajouter de nouveaux outils à l’agent. Une bonne documentation interne réduit le temps d’intégration des nouveaux contributeurs et empêche qu’une personne qui ne connaît pas les raisons de ces choix ne les annule accidentellement.

Réfléchissez au système complet que vous avez construit tout au long de ce projet de synthèse : un pipeline RAG hybride combinant une recherche dense et clairsemée avec un reclassement, un agent en flux continu avec appel de fonctions et garde-fous de sécurité, un cache sémantique réduisant les coûts de 30 %, des disjoncteurs assurant un basculement automatique, une évaluation par LLM-as-judge exécutée en continu dans l’intégration et le déploiement continus, ainsi que des protections contre l’injection d’instructions qui défendent le système contre les entrées adverses. Voilà ce qu’est l’ingénierie de l’IA en production.

Vérifiez votre compréhension du déploiement et de l’évaluation en production des systèmes d’IA.

Dans cette leçon, vous avez appris que : l’évaluation finale associe les indicateurs de recherche, les scores d’évaluation par LLM-as-judge, les tests de charge et l’analyse de sécurité avant le début de tout déploiement ; le déploiement bleu-vert avec déplacement progressif du trafic permet un retour en arrière instantané sans interruption de service ; et les rétrospectives et les guides d’exploitation consignent les connaissances collectives, ce qui réduit le temps nécessaire à la résolution des incidents futurs. Félicitations, vous avez terminé le parcours Ingénierie de l’IA : LLM, RAG et agents !