La boucle d’exécution du code

Un agent d’exécution de code est un type particulier d’agent d’IA qui résout des problèmes en écrivant du code, en l’exécutant, en observant le résultat, puis en recommençant jusqu’à ce que la tâche soit terminée. Contrairement aux agents qui utilisent uniquement des outils prédéfinis, les agents programmant créent de nouveaux outils de calcul à la volée. Ils sont ainsi extrêmement flexibles : toute tâche qui peut être programmée peut être tentée par un agent programmant.

Le cœur d’un agent d’exécution de code est une boucle en trois étapes : Écrire — le LLM génère du code Python pour résoudre l’étape actuelle de la tâche. Exécuter — le code est exécuté dans un environnement isolé et stdout/stderr sont capturés. Observer — le résultat de l’exécution est renvoyé au LLM sous la forme d’une nouvelle observation, qu’il utilise pour décider de ce qu’il doit écrire ensuite. Cette boucle se poursuit jusqu’à la fin de la tâche ou jusqu’à ce qu’une limite d’itérations soit atteinte.

Les LLM encadrent généralement le code généré dans des blocs de code Markdown délimités : ```python ... ```. Votre boucle d’exécution doit extraire le code de ces blocs de manière fiable avant de l’exécuter. Utilisez une expression rationnelle ou un analyseur simple pour trouver les blocs délimités et gérer les cas particuliers comme les accents graves imbriqués, plusieurs blocs de code dans une seule réponse ou du code sans indicateur de langage.

Lors de l’exécution de code généré par un agent, vous devez capturer à la fois stdout (la sortie normale) et stderr (les messages d’erreur et les traces d’exécution) afin de les renvoyer au LLM. Le module subprocess de Python constitue l’approche la plus simple : exécutez le code dans un processus distinct et capturez les deux flux. Définissez un délai d’expiration pour empêcher du code bloqué de paralyser l’agent.

Lorsque le code produit une erreur, le message d’erreur (trace d’exécution, type d’exception, numéro de ligne) est renvoyé au LLM sous forme d’observation. Le LLM analyse alors l’erreur et écrit du code corrigé. Pour l’aider à déboguer efficacement, incluez le texte exact de l’erreur dans l’observation, incluez la ligne de code à l’origine de l’erreur et demandez explicitement au LLM de la corriger avant de réessayer.

La boucle d’exécution de code doit savoir quand s’arrêter. Les signaux courants de fin comprennent : le LLM renvoie une réponse sans bloc de code (uniquement une réponse en langage naturel), le LLM écrit un marqueur spécial comme # TASK_COMPLETE, le code produit un fichier de sortie que l’agent devait créer, ou une fonction de validation confirme que la sortie respecte les critères de réussite. Implémentez toujours une limite d’itérations comme solution de secours.

L’un des défis des boucles d’exécution de code est la persistance de l’état entre les itérations. Chaque bloc de code s’exécute dans un nouveau processus Python ; les variables définies lors d’une itération ne sont donc pas disponibles lors de la suivante. Parmi les solutions figurent l’écriture des données intermédiaires dans des fichiers, l’utilisation d’un processus persistant auquel le code est transmis au moyen de exec(), ou l’instruction explicite au LLM de redéfinir les variables nécessaires au début de chaque bloc de code.

L’invite système d’un agent d’exécution de code doit apprendre au LLM à utiliser efficacement la boucle. Les éléments essentiels à inclure sont les suivants : comment écrire des blocs de code Python exécutables, comment vérifier les résultats intermédiaires avant de poursuivre, comment signaler la fin d’une tâche, quelles bibliothèques sont disponibles dans l’environnement isolé et quels chemins de fichiers l’agent est autorisé à lire et à modifier.

Le code généré par un agent peut produire des sorties considérables : affichages de DataFrame, longues listes, journaux détaillés. Renvoyer l’intégralité de la sortie au LLM gaspille des jetons et peut dépasser la fenêtre de contexte. Veillez toujours à tronquer la sortie de l’exécution avant de l’ajouter à la conversation. Une bonne valeur par défaut est de 2 000 à 5 000 caractères, accompagnés d’une note indiquant que la sortie a été tronquée afin que le LLM sache qu’il peut rester des éléments à explorer.

Un véritable agent d’exécution de code destiné à l’analyse de données peut effectuer 5 à 15 itérations pour charger un CSV, en explorer la structure, nettoyer les données, calculer des statistiques, générer un graphique et produire un rapport récapitulatif. Chaque itération s’appuie sur la précédente, le LLM adaptant son approche en fonction des valeurs et des formes réelles des données découvertes lors de l’exécution. Cette adaptation dynamique rend les agents programmant particulièrement puissants pour les tâches exploratoires.

Exécuter du code généré par un LLM sur votre infrastructure représente un risque de sécurité important. N’exécutez jamais le code d’un agent sans l’isoler dans un environnement sécurisé. Le LLM peut générer par inadvertance (ou à la suite d’une injection d’invite) du code qui supprime des fichiers, exfiltre des données, envoie des requêtes réseau à des services externes ou épuise les ressources du système. Exécutez toujours ce code dans un environnement isolé avec des limites strictes de ressources, des restrictions réseau et des limites d’accès au système de fichiers.

Vérifiez votre compréhension de la boucle d’exécution de code présentée dans cette leçon.

Dans cette leçon, vous avez appris que la boucle écrire-exécuter-observer est le modèle central des agents d’exécution de code ; que stdout et stderr issus de l’exécution sont renvoyés sous forme d’observations qui orientent la prochaine génération de code du LLM ; et que la troncature de la sortie ainsi que les limites d’itérations sont des mécanismes de sécurité essentiels. Nous allons maintenant explorer l’isolation de l’exécution de code avec Docker et RestrictedPython.