Ingénierie des prompts pour les applications LLM en production

Dans les applications réelles, les invites sont du code : elles doivent être structurées, testées et fiables. Une bonne ingénierie des invites réduit les hallucinations, impose le format de sortie et contrôle les coûts. Cette leçon présente les techniques importantes en production.

L’instruction système définit le rôle, le ton, les contraintes et les règles du modèle. Soyez précis : indiquez ce qu’est l’assistant, ce qu’il doit faire et ne doit pas faire, ainsi que le format de ses réponses. Une instruction système claire est votre meilleur outil de pilotage.

La formulation à partir de quelques exemples consiste à montrer au modèle des paires d’entrées et de sorties afin qu’il apprenne le schéma. Vous les placez sous forme de messages alternés de l’utilisateur et de l’assistant avant la demande réelle.

Les exemples clarifient mieux votre intention que les instructions seules. Ils fixent précisément le style de sortie (un mot, du JSON, une étiquette) et améliorent considérablement la cohérence des tâches de classification, d’extraction et de mise en forme.

Pour obtenir des réponses lisibles par une machine, demandez le mode JSON avec response_format. Avec {"type": "json_object"}, le modèle est contraint de produire du JSON valide, que vous pouvez ensuite analyser en toute sécurité.

Les coûts et les limites de contexte sont mesurés en jetons. La bibliothèque tiktoken compte les jetons localement afin que vous puissiez établir votre budget avant l’envoi. Installez-la avec pip install tiktoken.

Chaque modèle possède une fenêtre de contexte (un nombre maximal de jetons) et la facturation se fait au jeton. Compter à l’avance vous permet de raccourcir l’historique, de refuser les entrées trop volumineuses et de prévoir le coût avant même que l’appel ne quitte votre serveur.

Le trafic en production atteint les limites de débit (HTTP 429) et rencontre des erreurs temporaires. Au lieu de provoquer un arrêt, utilisez retry avec une temporisation exponentielle. La bibliothèque tenacity permet de faire cela avec un décorateur d’une seule ligne.

Décorez votre appel d’API avec @retry. Utilisez wait_exponential pour augmenter le délai entre les tentatives et stop_after_attempt pour plafonner le nombre total d’essais. Cette méthode vous permet de gérer élégamment les interruptions temporaires.

Lorsque vous imposez le mode JSON, décrivez toujours dans l’invite la structure exacte souhaitée afin que les clés soient prévisibles. Détailler le schéma en langage courant et utiliser le mode JSON vous fournit à chaque fois des résultats analysables et validables.

Une chaîne de traitement d’invites pour la production consiste à concevoir une instruction système stricte, à ajouter des exemples à partir de quelques exemples, à imposer une sortie JSON lorsque cela est nécessaire, à compter les jetons pour gérer les coûts et le contexte, puis à entourer les appels d’une logique retry. Ensemble, ces éléments rendent les fonctionnalités des LLM fiables.

Vous avez appris à concevoir des instructions système strictes, à orienter le comportement à l’aide d’exemples de démonstration et à garantir des réponses structurées grâce au mode JSON de response_format. Vous avez compté les jetons avec tiktoken pour gérer le contexte et les coûts, puis renforcé la résilience grâce aux nouvelles tentatives de tenacity en cas de limites de débit.