Validation par autocritique
Des sorties vérifiées par le modèle.
Validation par autocritique est une leçon AI Prompt Engineering gratuite sur CoddyKit. Ceci est la leçon 4 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage AI Prompt Engineering, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours AI Prompt Engineering comprend 4 leçons au total.
Le modèle comme son propre évaluateur
L’auto-évaluation utilise un LLM pour évaluer la sortie d’un LLM par rapport à une grille d’évaluation ou à une politique. Elle détecte des défaillances nuancées que les validateurs déterministes ne peuvent pas encoder : incohérence factuelle, ton, utilité et violations subtiles des politiques.
Elle complète, avec une approche fondée sur un modèle, les validateurs de schéma et de règles.
Séparer l’évaluateur de l’auteur
Effectuez l’évaluation dans un appel distinct, avec sa propre instruction, et non comme une instruction finale ajoutée à la génération. Un évaluateur disposant d’un contexte épuré, à qui l’on demande uniquement de juger, est bien plus fiable que si l’on demande à l’auteur de s’évaluer lui-même pendant la génération, car il est alors biaisé en faveur de sa propre réponse.
draft = author_model(task_prompt)
verdict = critic_model(
'You are a strict reviewer. Judge ONLY the answer below against the rubric.\n'
'Rubric: ' + rubric + '\nAnswer: ' + draft
)Sortie d’évaluation structurée
Demandez à l’évaluateur d’émettre des verdicts structurés afin que la chaîne de traitement puisse agir par programmation. Une évaluation en texte libre n’est pas exploitable par une machine.
CRITIC_SCHEMA = {
'type': 'object',
'properties': {
'pass': {'type': 'boolean'},
'violations': {'type': 'array', 'items': {'type': 'string'}},
'severity': {'type': 'string', 'enum': ['none','minor','major','critical']},
'fix_hint': {'type': 'string'}
},
'required': ['pass','violations','severity','fix_hint'],
'additionalProperties': False
}Boucle d’évaluation puis de révision
Associez l’évaluateur à un réviseur. L’évaluateur détecte les problèmes ; l’auteur révise sa réponse à l’aide de cette évaluation ; répétez jusqu’à la validation ou l’épuisement du budget. Il s’agit de l’équivalent, fondé sur un modèle, de la boucle de réparation.
draft = author_model(task)
for _ in range(2):
c = critic_model(draft)
if c['pass']:
break
draft = author_model(task + '\nRevise to fix: ' + c['fix_hint'])
final = draftLes grilles rendent l’évaluation fiable
Une instruction vague (« est-ce correct ? ») produit des verdicts bruités. Une grille d’évaluation concrète, avec des critères explicites et vérifiables, produit des verdicts cohérents. Décomposez-la en questions auxquelles l’évaluateur répond individuellement par oui ou par non.
RUBRIC = [
'Does the answer directly address the user question?',
'Are all factual claims supported by the provided context?',
'Is any disallowed content present?',
'Is the response within the requested length?'
]Évaluation ancrée pour vérifier les faits
Pour détecter les hallucinations, donnez à l’évaluateur le contexte source et demandez-lui de signaler toute affirmation qui n’en découle pas. Vous transformez ainsi l’auto-évaluation en vérification d’implication, bien plus rigoureuse que la question « est-ce vrai ? » posée sans preuve.
verdict = critic_model(
'For each claim in the ANSWER, state whether the CONTEXT entails it. '
'Flag any unsupported claim.\nCONTEXT:\n' + ctx + '\nANSWER:\n' + draft
)Modes de défaillance de l’évaluateur
L’évaluateur est lui-même un LLM et peut échouer :
- Complaisance — validation machinale de la réponse de l’auteur.
- Excès de critique — signalement d’une sortie correcte.
- Angles morts partagés — le même modèle ne détecte pas les mêmes erreurs.
Atténuez ces problèmes en utilisant une autre famille de modèles comme évaluateur, un rôle de réviseur strict et des seuils calibrés.
Utiliser un évaluateur moins coûteux ou différent
L’évaluateur n’a pas besoin d’être le modèle le plus coûteux. Souvent, un modèle plus petit doté d’une grille stricte constitue un filtre économique efficace, et l’utilisation d’une famille de modèles différente réduit les angles morts corrélés. Réservez le modèle le plus puissant à la rédaction.
Quand faire confiance et quand vérifier
L’auto-évaluation réduit les erreurs, mais ne constitue pas une preuve. Pour du contenu à faible enjeu, une seule passe d’évaluation suffit. Pour des sorties à fort enjeu, combinez l’auto-évaluation avec des validateurs déterministes et une vérification humaine ; ne laissez jamais un modèle être l’unique arbitre de décisions critiques pour la sécurité.
Coût, latence et mise en cache
L’auto-évaluation double approximativement le nombre d’appels par requête. Maîtrisez ce coût : conditionnez l’évaluation à des vérifications déterministes (évaluez uniquement ce qui a passé le schéma et les règles), mettez en cache les évaluations de brouillons identiques et limitez le nombre de cycles de révision. Exécutez l’évaluation en parallèle avec les tâches non bloquantes lorsque c’est possible.
if deterministic_ok(draft):
verdict = critic_model(draft) # only spend critique on viable draftsCalibrer sur des annotations humaines
Validez l’évaluateur avant de lui faire confiance. Constituez un ensemble de sorties annotées par des humains, exécutez l’évaluateur et mesurez la concordance (précision/rappel par rapport aux verdicts humains). Ajustez la grille et le rôle jusqu’à ce que les jugements de l’évaluateur correspondent à ceux des humains ; effectuez une nouvelle vérification après chaque mise à niveau du modèle.
agreement = mean(critic(d)['pass'] == human_label[d] for d in eval_set)
assert agreement > 0.9Vérification rapide
Vous voulez que l’évaluateur détecte de manière fiable les hallucinations dans une réponse RAG. Qu’est-ce qui améliore le plus sa fiabilité ?
Récapitulatif
Validation par auto-évaluation :
- Un évaluateur distinct, disposant d’un contexte épuré, juge la sortie de l’auteur.
- Émettez des verdicts structurés ; pilotez une boucle d’évaluation puis de révision.
- Les grilles concrètes et les vérifications d’implication ancrées dans les sources améliorent la fiabilité.
- Méfiez-vous de la complaisance et des angles morts partagés ; utilisez un modèle évaluateur différent.
- Maîtrisez les coûts, combinez cette approche avec des vérifications déterministes et calibrez-la sur des évaluations humaines.
Vous avez terminé les garde-fous. Prochain cours : l’évaluation offensive et contradictoire.
Apprends AI Prompt Engineering avec un tuteur IA — gratuit
Écris et exécute du vrai code dans ton navigateur, obtiens de l'aide instantanée d'un tuteur IA disponible 24h/24, et reprends là où tu t'es arrêté sur le web ou dans l'app.
- Cours
- 53
- Leçons
- 199
Questions Fréquemment Posées
La leçon « Validation par autocritique » est-elle gratuite ?
Oui — le texte complet de « Validation par autocritique » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours AI Prompt Engineering, passe à CoddyKit PRO. Le cours AI Prompt Engineering comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Validation par autocritique » ?
Des sorties vérifiées par le modèle. Tu pratiques AI Prompt Engineering avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer AI Prompt Engineering ?
Aucune expérience préalable n'est requise. AI Prompt Engineering sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 4 sur 4.
Combien de temps prend la leçon « Validation par autocritique » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon AI Prompt Engineering ?
Oui. Chaque leçon AI Prompt Engineering inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Que sont les garde-fous
- Filtrage des entrées et des sorties
- Validateurs de schémas et de règles
- Validation par autocritique