Escalade avec intervention humaine

Les agents entièrement autonomes conviennent aux tâches bien définies et peu risquées. Cependant, certaines situations exigent un jugement humain : instructions ambiguës, faible confiance du modèle, actions destructrices impossibles à annuler ou tâches dont l’échec aurait de graves conséquences. L’escalade avec intervention humaine (HITL) interrompt l’agent à ces points de décision et demande l’avis d’une personne avant de poursuivre, combinant l’efficacité de l’automatisation avec le jugement humain.

L’escalade doit être déclenchée par des conditions précises et mesurables, plutôt que par une intuition vague. Définissez des déclencheurs d’escalade explicites pour votre application. Parmi les déclencheurs courants figurent : une confiance du modèle inférieure à un seuil, une action destructrice sur le point d’être exécutée, l’approche d’une limite de politique, l’épuisement du budget de nouvelles tentatives ou le dépassement de la limite de temps de la tâche. Documentez les déclencheurs dans le code sous forme de constantes nommées afin de pouvoir les ajuster sans modifier la logique du flux de contrôle.

Demandez au modèle d’exprimer sa confiance dans une action proposée avant de l’exécuter. Un score de confiance inférieur à votre seuil déclenche une escalade. Utilisez une vérification structurée de la confiance comprenant à la fois un score numérique et une brève justification, afin que la personne chargée de l’examen comprenne précisément pourquoi l’agent était incertain. Cette justification permet de fournir des conseils ciblés sans devoir examiner l’intégralité de l’historique de la tâche.

Marquez les outils qui exécutent des actions irréversibles avec un indicateur destructive=True et exigez une confirmation humaine avant leur exécution. Exemples : supprimer des fichiers, envoyer des courriels à de vrais utilisateurs, effectuer des modifications de base de données impossibles à annuler, facturer un client ou publier du contenu publiquement. L’agent doit s’arrêter au niveau de ces actions et attendre une approbation humaine explicite, même s’il fonctionne par ailleurs de manière autonome.

Lorsqu’un déclencheur d’escalade s’active, enregistrez le point de contrôle (afin que la tâche puisse reprendre), créez un enregistrement de demande d’escalade et avertissez la personne chargée de l’examen. L’agent cesse son traitement et attend. Cette personne examine l’escalade via un tableau de bord ou une notification, fournit des instructions ou une approbation, puis l’agent reprend depuis le point de contrôle, ces instructions étant incluses comme nouveau message dans l’historique.

Les réviseurs humains ont besoin d'une interface simple pour répondre aux escalades. Au minimum, affichez : la description de la tâche, la progression de l'agent jusqu'à présent, la question précise ou l'action proposée nécessitant une approbation, ainsi que des boutons pour approuver, rejeter et fournir des directives. Consignez chaque décision du réviseur avec son identité et l'horodatage à des fins d'audit. Un bot Slack ou un simple formulaire web conviennent tous deux très bien aux équipes internes.

Après la réponse de l'humain, injectez ses directives sous forme d'un nouveau message dans l'historique de conversation de l'agent avant de reprendre l'exécution. Présentez-les comme provenant d'un « superviseur » afin de les distinguer des propres observations de l'agent. Celui-ci pourra alors s'y référer à l'étape suivante. Si l'humain a rejeté l'action proposée, indiquez ce qu'il faut faire à la place.

Surveillez le volume des escalades, leurs motifs et les délais de réponse. Un volume élevé indique que l'agent n'est pas suffisamment sûr de lui : la tâche est peut-être trop ambiguë, le modèle a besoin de meilleures instructions ou les seuils de confiance sont trop bas. Des délais de réponse longs indiquent une surcharge de travail des réviseurs. Ces indicateurs vous aident à ajuster l'équilibre entre automatisation et intervention humaine afin de réduire les interruptions inutiles tout en maintenant l'intervention humaine pour les décisions réellement risquées.

Commencez avec une forte sensibilité aux escalades (seuil de confiance bas et escalade pour toute action destructive), puis réduisez progressivement leur fréquence à mesure que vous gagnez confiance dans le comportement de l'agent. Suivez les escalades qui aboutissent à une approbation par rapport à celles qui entraînent des corrections réelles. Un taux d'approbation constamment élevé pour un type de déclencheur donné signifie que vous pouvez automatiser ce déclencheur en toute sécurité, ce qui réduit la charge de travail humaine tout en conservant une supervision là où elle est réellement nécessaire.

Prévoyez toujours un mécanisme de remplacement d'urgence permettant à un humain d'annuler immédiatement une tâche d'agent en cours. Si un agent se comporte mal — en appelant des outils qu'il ne devrait pas utiliser ou en effectuant des actions hors de son périmètre prévu — un humain doit pouvoir l'arrêter en quelques secondes. Implémentez un signal d'annulation (un indicateur en base de données que l'agent vérifie à chaque étape) et assurez-vous que les résultats des appels d'outils sont ignorés si l'agent est annulé en cours d'étape.

Les seuils d'escalade doivent être ajustés. Si le seuil de confiance est trop élevé, l'agent déclenche une escalade pour presque chaque action, ce qui submerge les réviseurs. S'il est trop bas, des actions risquées passent au travers. Commencez avec des seuils prudents pendant la première semaine, suivez le volume des escalades et le taux d'approbation des réviseurs, puis ajustez-les. Un système stable devrait déclencher une escalade pour 5 à 15 % des tâches en raison d'un problème de confiance et pour près de 100 % des actions destructives, avec un taux d'approbation global supérieur à 80 %.

Dans cette leçon, vous avez appris que les déclencheurs d'escalade définissent les conditions précises dans lesquelles l'agent doit se mettre en pause et demander des directives humaines, que les indicateurs d'action destructive sur les outils imposent des exigences d'approbation pour les opérations irréversibles, et que l'extension progressive de l'autonomie permet d'augmenter l'automatisation en toute sécurité à mesure que l'agent gagne la confiance. Nous allons maintenant concevoir l'architecture de production de notre projet de synthèse.