Mesures de génération : fidélité et pertinence des réponses

Même lorsque votre système de récupération trouve les segments parfaits, l'étape de génération peut encore échouer. Le LLM peut ignorer le contexte récupéré et répondre à partir de sa mémoire paramétrique, mal interpréter ce que dit le contexte ou répondre à une question légèrement différente de celle qui a été posée. Les métriques de génération quantifient ces échecs indépendamment de la récupération afin que vous puissiez cerner et corriger chaque problème. Les deux principales métriques de génération sont la fidélité et la pertinence de la réponse.

La fidélité mesure si chaque affirmation de la réponse générée peut être directement reliée au contexte récupéré. Une réponse fidèle n'introduit aucune information absente du contexte. La fidélité se mesure au niveau des affirmations : la réponse est décomposée en énoncés atomiques individuels, puis chacun est vérifié par rapport au contexte afin de déterminer s'il est étayé. Le score de fidélité est la proportion d'affirmations étayées.

La façon la plus pratique de mesurer la fidélité à grande échelle consiste à utiliser un LLM puissant comme évaluateur. Demandez au LLM évaluateur de décomposer la réponse en affirmations individuelles, puis de vérifier chaque affirmation par rapport au contexte. L'évaluateur renvoie une liste d'affirmations étiquetées SUPPORTED ou UNSUPPORTED, et vous calculez la proportion de celles qui sont étayées. Cette approche permet d'effectuer des milliers d'évaluations par heure pour quelques centimes par évaluation.

La pertinence de la réponse mesure si la réponse générée répond réellement à la question de l’utilisateur. Une réponse très fidèle peut tout de même passer à côté du sujet — par exemple, si l’utilisateur demande « Comment réinitialiser mon mot de passe ? » et que la réponse explique en détail la politique générale de sécurité de l’entreprise sans mentionner la procédure de réinitialisation du mot de passe. La pertinence de la réponse est indépendante de la fidélité : vous pouvez être fidèle (ne dire que des choses présentes dans le contexte), mais hors sujet (ne pas répondre à la question posée).

RAGAS mesure la pertinence d’une réponse à l’aide d’une technique ingénieuse de génération inversée : le LLM évaluateur génère plusieurs questions hypothétiques auxquelles la réponse générée permettrait de répondre, puis mesure la similarité entre ces questions générées et la question d’origine à l’aide de la similarité cosinus des plongements. Une forte similarité entre les questions hypothétiques générées et la question d’origine indique une forte pertinence de la réponse.

Le rappel du contexte mesure si le contexte récupéré contient suffisamment d’informations pour répondre correctement à la question. Il vérifie la réponse de référence phrase par phrase : chaque phrase peut-elle être attribuée à l’un des segments récupérés ? Un rappel du contexte élevé signifie que le récupérateur a trouvé tout ce qui était nécessaire. Un rappel faible signifie que des informations essentielles manquaient dans les segments récupérés ; le LLM ne peut donc pas répondre correctement, même avec une génération parfaite.

La précision du contexte mesure si les segments récupérés sont réellement utiles pour répondre à la question. Une précision élevée signifie que les segments récupérés sont étroitement pertinents. Une faible précision signifie que de nombreux segments récupérés sont du bruit hors sujet que le LLM doit lire puis écarter, ce qui augmente le risque de confusion. La précision du contexte se mesure en vérifiant quels segments récupérés ont réellement été utilisés ou cités dans la réponse générée.

La bibliothèque RAGAS implémente les quatre métriques RAG principales — précision du contexte, rappel du contexte, fidélité et pertinence de la réponse — au sein d’un même cadre. Elle gère en interne les appels au LLM évaluateur. Transmettez-lui un jeu de données contenant les questions, les réponses générées, les contextes récupérés et les réponses de référence, puis recevez un rapport complet des scores. RAGAS prend également en charge l’évaluation asynchrone, ce qui vous permet d’évaluer des centaines d’exemples en parallèle.

La combinaison des métriques révèle des problèmes précis du système. Faible fidélité + forte précision du contexte → le LLM ignore le contexte et hallucine (corrigez le prompt). Faible rappel du contexte + forte fidélité → le récupérateur ne trouve pas certains segments essentiels, mais le LLM rapporte fidèlement ce qu’il a trouvé (corrigez le découpage ou les plongements). Faible pertinence de la réponse + forte fidélité → les segments récupérés sont liés au sujet de manière indirecte et le LLM les décrit fidèlement, mais il ne répond pas à la question (améliorez le filtrage de la récupération ou la réécriture de la requête).

Les métriques fondées sur le LLM comme évaluateur sont corrélées au jugement humain, mais ne lui correspondent pas parfaitement. Étalonnez vos métriques automatisées en demandant à 3 évaluateurs humains de noter un échantillon aléatoire de 50 sorties sur la fidélité et la pertinence de la réponse, selon une échelle de 1 à 5. Calculez l’accord entre le LLM évaluateur et la note humaine moyenne. Si le LLM attribue systématiquement des notes trop élevées ou trop faibles par rapport aux humains, appliquez un facteur de correction. Des métriques automatisées étalonnées vous donnent l’assurance que l’amélioration des scores reflète une amélioration réelle de la qualité.

Avant de déployer un système RAG en production, définissez des seuils minimaux pour les métriques que le système doit atteindre. Les objectifs courants en production sont les suivants : fidélité > 0,90 (moins de 10 % des affirmations de la réponse sont des hallucinations), pertinence de la réponse > 0,80 (au moins 80 % des réponses répondent réellement à la question), précision du contexte > 0,60 (la plupart des segments récupérés sont pertinents) et rappel du contexte > 0,75 (la plupart des faits essentiels sont disponibles dans le contexte récupéré). Les systèmes qui n’atteignent pas ces seuils ne doivent pas être déployés sans amélioration supplémentaire.

Dans cette leçon, vous avez appris : la fidélité comme métrique au niveau des affirmations, qui vérifie que chaque énoncé de la réponse est étayé par le contexte récupéré ; la pertinence de la réponse comme métrique mesurant si la réponse traite effectivement la question ; le rappel et la précision du contexte pour mesurer la qualité de la récupération du point de vue de la génération ; et la bibliothèque RAGAS pour l’évaluation automatisée de plusieurs métriques. Ensuite, nous réunirons toutes ces métriques dans un dispositif d’évaluation automatisé que vous pourrez exécuter à chaque modification.