Le modèle du LLM évaluateur

Évaluer manuellement les sorties des LLM est lent et coûteux. Une équipe d’évaluateurs humains peut examiner quelques centaines de sorties par semaine, tandis qu’un système en production en génère des milliers par jour. Le LLM en tant qu’évaluateur utilise un modèle linguistique puissant pour évaluer à grande échelle la qualité des sorties d’autres LLM, ce qui permet les tests automatisés de régression et la surveillance continue de la qualité sans devoir recruter une armée d’annotateurs.

Dans le modèle du LLM en tant qu’évaluateur, vous envoyez à un modèle évaluateur (généralement GPT-4o ou Claude) une invite système définissant les critères d’évaluation, la question d’origine, la réponse du modèle et, éventuellement, une réponse de référence. L’évaluateur renvoie un score numérique, une étiquette ou un classement. Cette méthode fonctionne, car les modèles de pointe comprennent suffisamment bien des notions de qualité telles que l’exactitude, l’utilité et la cohérence.

Une bonne invite d’évaluation précise des grilles explicites avec des définitions de scores, plutôt que des termes vagues comme « bon » ou « mauvais ». Définissez concrètement ce que signifient les scores 5, 3 et 1 pour chaque critère. Fournissez la question, la réponse évaluée et, éventuellement, une réponse de référence. Demandez un raisonnement avant le score (chaîne de pensée) afin de réduire les notations arbitraires.

Appelez le modèle évaluateur avec votre invite d’évaluation. Analysez la réponse JSON pour en extraire les scores. Utilisez toujours des sorties structurées ou le mode JSON afin de garantir que l’évaluateur renvoie des données analysables. Utiliser le même modèle à la fois pour le système testé et pour l’évaluateur peut introduire un biais : préférez un modèle différent ou, au minimum, une configuration différente pour l’évaluateur.

Il existe deux modes d’évaluation par un LLM. L’évaluation sans référence demande à l’évaluateur d’évaluer la qualité sans réponse de vérité terrain — ce qui est utile lorsqu’une telle réponse n’existe pas, par exemple dans une discussion ouverte. L’évaluation avec référence fournit une réponse de référence faisant autorité et demande si la réponse du modèle lui correspond — ce qui convient mieux aux questions factuelles dont la réponse correcte est connue. Utilisez l’évaluation avec référence lorsque vous disposez d’un ensemble de test étiqueté.

Les évaluateurs LLM présentent des biais connus : ils préfèrent les réponses plus longues (biais de verbosité), les réponses au ton assuré et les réponses qui correspondent au style de leurs données d’apprentissage. Réduisez le biais de verbosité en pénalisant explicitement la longueur inutile dans votre grille. Réduisez le biais de position lors d’une comparaison par paires en randomisant la réponse affichée en premier, puis en faisant la moyenne des scores obtenus dans les deux ordres.

Exécutez les évaluations de l’évaluateur en parallèle afin d’évaluer rapidement de grands ensembles de test. Avec asyncio et un sémaphore, vous pouvez évaluer des centaines de sorties par minute. Prévoyez un budget de limite de débit distinct pour les appels à l’évaluateur (ils consomment eux aussi des jetons) et envisagez d’utiliser un modèle évaluateur plus petit, mais toujours capable, comme GPT-4o-mini pour les critères qui ne nécessitent pas un raisonnement approfondi, en réservant GPT-4o aux critères les plus importants.

Après l’évaluation d’un ensemble de test, regroupez les scores sous forme de statistiques récapitulatives : moyenne, médiane et pourcentage de réponses dépassant un seuil de qualité (par exemple, exactitude ≥ 4). Comparez ces agrégats entre les versions du modèle ou les variantes de l’invite. Une baisse de plus de 5 % du taux de réponses dépassant le seuil doit déclencher un examen avant le déploiement de la nouvelle version.

Utilisez le modèle du LLM en tant qu’évaluateur pour comparer deux versions de votre système, par exemple avant et après une modification de l’invite. Exécutez les deux versions sur le même ensemble de questions de test, évaluez toutes les sorties et calculez le taux de victoire : le pourcentage de cas où la version B obtient un score supérieur à celui de la version A. Un taux de victoire supérieur à 55 % sur plus de 100 échantillons est généralement assez significatif sur le plan statistique pour justifier la mise en production de la nouvelle version.

Validez votre évaluateur en comparant ses scores à ceux d’évaluateurs humains sur un ensemble d’étalonnage de 50 à 200 exemples. Calculez la corrélation de Pearson entre les scores de l’évaluateur et ceux des humains. Une corrélation supérieure à 0,7 indique que l’évaluateur est fiable. Si la corrélation est faible, examinez l’invite de l’évaluateur pour déterminer où il diverge des humains, puis ajoutez des exemples ou des précisions à la grille. Ne déployez jamais un évaluateur sans étalonnage.

Le LLM en tant qu’évaluateur ne convient pas à tous les scénarios d’évaluation. Évitez-le lorsque le critère exige une expertise que le modèle évaluateur ne possède pas (exactitude d’un diagnostic médical, conformité juridique), lorsque vous avez besoin d’une évaluation juridiquement défendable (un examen humain est alors requis), lorsque vous évaluez un modèle plus performant que l’évaluateur (celui-ci ne peut pas évaluer de manière fiable une sortie qu’il ne pourrait pas produire) ou lorsque le budget d’évaluation est trop limité pour couvrir le coût supplémentaire des appels d’API. Dans ces cas, utilisez une évaluation humaine ou des métriques déterministes.

Dans cette leçon, vous avez appris que le LLM en tant qu’évaluateur utilise un modèle puissant pour évaluer la qualité à grande échelle à l’aide de grilles explicites, que les modes sans référence et avec référence conviennent à différents scénarios d’évaluation, et que l’étalonnage par rapport aux évaluations humaines vérifie la fiabilité de votre évaluateur avant son utilisation en production. Nous allons maintenant mettre en œuvre des stratégies d’évaluation point par point et par paires.