Quand les prompts de raisonnement sont utiles

Les instructions de raisonnement (CoT, auto-cohérence, ToT) échangent des jetons, de la latence et de l’argent contre de la précision. La question centrale d’ingénierie n’est pas de savoir si le raisonnement peut être utile, mais s’il aide suffisamment pour cette tâche afin de justifier son coût.

Activer par défaut un raisonnement étape par étape pour chaque instruction est une anti-stratégie courante et coûteuse, qui peut également réduire la qualité pour les tâches simples.

Les invites de raisonnement produisent les gains les plus importants pour les problèmes à plusieurs étapes et compositionnels : problèmes mathématiques formulés en langage courant, raisonnement symbolique et logique, QA multi-sauts, planification et code avec un flux de contrôle non trivial.

Le point commun est un problème qui se décompose en sous-étapes, où le calcul intermédiaire réduit le risque d’un saut erroné vers la réponse.

Pour les tâches à une seule étape ou d’appariement de motifs (sentiment, étiquettes de thèmes, extraction, récupération, conversion de format), le raisonnement ajoute de la latence et des coûts pour un gain d’exactitude faible ou nul, et peut parfois nuire en poussant à la sur-réflexion.

Les questions de rappel de connaissances en bénéficient également peu : si le modèle ne connaît pas un fait, davantage de jetons de raisonnement ne le fera pas apparaître, même s’ils peuvent produire des justifications hallucinées avec assurance.

Forcer la délibération sur des tâches bien résolues par l’intuition peut dégrader l’exactitude. La verbalisation peut remplacer une première intuition correcte, introduire des erreurs de calcul ou rationaliser une mauvaise démarche. Cela rappelle qu’une explication imposée peut nuire aux performances humaines dans les tâches intuitives.

Effectuez toujours un test A/B du raisonnement par rapport à la réponse directe, plutôt que de supposer que le raisonnement constitue nécessairement une amélioration.

Le raisonnement fait exploser le nombre de jetons de sortie, souvent de 3 à 10 fois. L’auto-cohérence multiplie encore ce coût par le nombre d’échantillons n ; l’arbre de pensées le multiplie par le nombre de branches, la profondeur et la largeur du faisceau. La latence augmente au même rythme, ce qui compte pour l’expérience utilisateur interactive.

Modélisez explicitement ces multiplicateurs. Une technique qui ajoute deux points d’exactitude pour un coût multiplié par 8 peut être moins avantageuse qu’un simple appel unique à un modèle plus puissant.

Le meilleur schéma de production est conditionnel : répondez directement aux éléments faciles et ne transmettez au raisonnement que les éléments difficiles ou associés à une faible confiance. Un classificateur de difficulté ou un contrôle peu coûteux de la confiance dans une réponse directe commande la porte.

Cette approche concentre les ressources de calcul coûteuses là où elles sont rentables, tout en maintenant faibles le coût et la latence moyens.

Les modèles dotés d’un raisonnement intégré intègrent la délibération et exposent un contrôle de l’effort de raisonnement, plutôt que des chaînes conçues manuellement à partir d’invites. Pour ces modèles, les invites écrites manuellement telles que « Réfléchissons étape par étape » sont souvent redondantes ou nuisibles.

La décision ne porte alors plus sur l’ajout ou non d’une chaîne de pensée, mais sur la quantité d’effort de raisonnement à prévoir et sur la possibilité qu’un modèle sans raisonnement suffise à moindre coût.

Au-delà du calcul, le raisonnement entraîne des coûts qualitatifs. Les chaînes peuvent manquer de fidélité et donner une fausse impression de transparence. Les chaînes plus longues élargissent la surface d’injection d’instructions et peuvent divulguer des étapes intermédiaires sensibles si elles sont exposées aux utilisateurs.

Si vous affichez le raisonnement, traitez-le comme un contenu non fiable, assainissez-le et ne le présentez jamais comme une piste d’audit faisant autorité.

Évaluez les techniques de raisonnement sur un ensemble représentatif exempt de fuites et présentez une frontière de Pareto entre exactitude, coût et latence. Le bon choix est la technique située sur cette frontière qui respecte vos contraintes de latence et de budget, et non celle qui offre la meilleure exactitude brute.

Refaites les mesures lorsque les modèles ou le trafic évoluent ; la technique optimale change au fil du temps.

Prenez votre décision dans cet ordre : (1) La tâche comporte-t-elle plusieurs étapes ou est-elle compositionnelle ? Si non, ignorez le raisonnement. (2) Un test A/B hors ligne montre-t-il un véritable gain d’exactitude ? (3) Ce gain reste-t-il compatible avec le budget de coût et de latence ? (4) Un appel unique à un modèle plus puissant ou un modèle natif du raisonnement peut-il fournir ce gain à moindre coût ?

N’adoptez le raisonnement que s’il franchit les quatre portes.

Traitez le raisonnement comme un outil ciblé : activez-le pour les éléments réellement difficiles et comportant plusieurs étapes grâce à une porte adaptative, choisissez la technique la plus légère qui atteint le seuil d’exactitude (une seule chaîne de pensée avant l’auto-cohérence, puis avant l’arbre de pensées) et privilégiez les contrôles de l’effort de raisonnement sur les modèles natifs.

Mesurez en continu la frontière entre exactitude, coût et latence, puis réévaluez vos choix à mesure que le paysage des modèles évolue.

Prenez une décision de raisonnement en tenant compte du coût.

À retenir :

• Les invites de raisonnement échangent des jetons, de la latence et de l’argent contre de l’exactitude ; cet échange doit être justifié pour chaque tâche.
• Elles sont surtout utiles pour les problèmes à plusieurs étapes et compositionnels, et rarement pour les tâches à une seule étape ou de simple rappel, où elles peuvent même nuire.
• Modélisez explicitement les multiplicateurs de coût (chaîne de pensée, auto-cohérence × n, arbre de pensées × branches-profondeur-faisceau).
• Utilisez des portes adaptatives pour raisonner uniquement sur les éléments difficiles ou associés à une faible confiance ; sur les modèles natifs du raisonnement, réglez l’effort de raisonnement.
• Choisissez les techniques sur la frontière entre exactitude et coût, et comparez-les toujours à l’utilisation d’un modèle plus puissant.