Quand l’ajustement fin est plus efficace que les invites

Lorsque vous avez besoin qu’un LLM se comporte d’une manière précise, deux options fondamentales s’offrent à vous : l’ingénierie des prompts (indiquer au modèle quoi faire au moment de l’inférence à l’aide de prompts soigneusement conçus) ou le réglage fin (enseigner au modèle de nouveaux comportements en l’entraînant sur des exemples). Les deux approches peuvent produire des résultats similaires pour de nombreuses tâches, mais elles diffèrent fortement par leur coût, leur rapidité, leur flexibilité et le niveau de qualité maximal qu’elles permettent d’atteindre.

Les prompts constituent presque toujours le bon point de départ. Ils ne nécessitent aucune infrastructure d’entraînement, produisent des résultats en quelques heures, peuvent être mis à jour instantanément sans nouvel entraînement et fonctionnent bien pour les tâches que le modèle de base sait déjà traiter correctement. Commencez par les prompts pour les tâches où GPT-4o ou Claude produit déjà des résultats acceptables avec des instructions claires, lorsque les exigences évoluent rapidement, pour les cas d’utilisation à faible volume et dans les situations où vous explorez encore le domaine du problème.

Le réglage fin est préférable lorsque vous avez besoin d’un format de sortie rigoureusement cohérent que les prompts ne permettent pas de produire de manière fiable. Si votre application exige une conformité à 100 % à un schéma JSON précis, un format de document structuré avec exactitude ou un style rédactionnel très spécifique qui diffère de la sortie naturelle du modèle, un réglage fin réalisé avec quelques centaines d’exemples peut assurer une cohérence presque parfaite, impossible à égaler même avec le prompt le plus soigneusement conçu.

Le réglage fin est le bon choix lorsque le modèle doit apprendre des connaissances absentes des données d’entraînement publiques : les conventions de programmation internes de votre entreprise, une taxonomie propriétaire pour classer les documents, une terminologie juridique ou médicale spécialisée dans un domaine de niche, ou encore les règles de ton et de style propres à votre marque. Ces connaissances ne peuvent pas être transmises efficacement par des exemples dans les prompts, car leur volume dépasse la capacité d’une fenêtre de contexte.

Un argument économique majeur en faveur du réglage fin est la compression des prompts. Un prompt système complexe peut contenir 2 000 jetons. Si vous appelez l’API 10 millions de fois par jour, ces 2 000 jetons coûtent des dizaines de milliers de dollars par mois. Un modèle réglé finement peut être guidé par un prompt beaucoup plus court (50 à 100 jetons), car les instructions détaillées sont désormais intégrées à ses paramètres. À grande échelle, cela peut réduire les coûts liés aux jetons d’entrée de 90 % ou plus.

Les modèles réglés finement peuvent améliorer la latence de deux façons. Premièrement, des prompts plus courts signifient que le modèle traite moins de jetons d’entrée, ce qui réduit directement le délai avant le premier jeton. Deuxièmement, les modèles réglés finement convergent souvent plus rapidement vers le format correct (la réponse contient moins de jetons avant d’atteindre la réponse proprement dite), ce qui réduit le nombre total de jetons de sortie et le temps de génération. Pour les applications sensibles à la latence, ces deux effets se cumulent et produisent des améliorations significatives.

Le réglage fin nécessite des données d’entraînement — et c’est souvent le principal obstacle pratique. En règle générale, il vous faut au moins 50 à 100 exemples de haute qualité pour observer une amélioration significative par rapport au modèle de base, 500 à 1 000 exemples pour obtenir un respect fiable du style et du format, et 1 000 à 10 000 exemples pour acquérir des connaissances importantes dans un domaine. En dessous de 50 exemples, l’utilisation des mêmes exemples dans le contexte du prompt (apprentissage à peu d’exemples) donnera généralement de meilleurs résultats que le réglage fin.

Le réglage fin entraîne des coûts cachés importants au-delà de la facture de calcul. Vous avez besoin : d’une infrastructure pour exécuter l’entraînement (heures de GPU ou service géré), d’un processus de collecte et de contrôle de la qualité des données, d’une évaluation permettant de vérifier que le modèle réglé finement améliore réellement la métrique cible, d’un processus de déploiement pour le modèle personnalisé et d’un processus de maintenance continu pour relancer l’entraînement lorsque le modèle de base est mis à jour ou que vos exigences évoluent. Ces coûts sont réels et doivent être mis en balance avec les avantages.

Le réglage fin ne peut pas mettre à jour les connaissances en temps réel. Les connaissances d’un modèle réglé finement sont figées au moment de l’entraînement. Pour les cas d’utilisation nécessitant des informations à jour (actualité, tarifs en temps réel, réglementations évolutives), le RAG est toujours préférable, car il peut récupérer des informations récentes au moment de la requête. Le réglage fin excelle pour les connaissances durables qui changent rarement : le style rédactionnel de votre entreprise, la taxonomie de catégorisation de vos produits ou le vocabulaire technique bien établi d’un domaine.

Utilisez ce cadre de décision avant de vous engager dans un réglage fin. Premièrement, prouvez que le besoin existe : exécutez votre meilleur prompt sur 1 000 exemples réels et mesurez le taux d’échec. Deuxièmement, quantifiez le bénéfice : estimez le ROI résultant d’une meilleure précision, de coûts de jetons plus faibles ou d’une meilleure latence. Troisièmement, évaluez la faisabilité : disposez-vous d’au moins 500 exemples d’entraînement de haute qualité ? Enfin, comparez les solutions de remplacement : un modèle plus petit associé à un meilleur prompt pourrait-il atteindre les performances d’un modèle plus grand associé à un prompt complexe ?

Les meilleurs systèmes en production combinent souvent les deux approches. Utilisez le réglage fin pour les propriétés durables (format de sortie, ton, vocabulaire du domaine) qui changent rarement, et les prompts pour les propriétés dynamiques (contexte de la tâche, documents récupérés, préférences de l’utilisateur) qui varient à chaque requête. Cette combinaison vous offre la fiabilité et l’efficacité en matière de coûts du réglage fin sans sacrifier la flexibilité des prompts.

Vérifiez votre compréhension des situations où le réglage fin est préférable aux prompts à partir de cette leçon.

Dans cette leçon, vous avez appris que les prompts constituent presque toujours le bon point de départ grâce à leur coût plus faible et à l’itération plus rapide, que le réglage fin est préférable pour le respect cohérent du format, les connaissances propres à un domaine et la réduction du coût des jetons à grand volume, et que l’actualité des connaissances relève du domaine du RAG : le réglage fin ne peut pas mettre à jour ce que le modèle sait au moment de l’exécution. Nous allons maintenant préparer un jeu de données d’entraînement de haute qualité pour le réglage fin.