Mesures de récupération : taux de réussite, MRR et NDCG

Le taux de réussite vous indique si un segment pertinent apparaît quelque part parmi les K premiers résultats, mais il ne vous dit pas à quelle position il apparaît. Un système qui place toujours le meilleur segment au rang 5 est moins performant qu'un système qui le place systématiquement au rang 1, même si les deux ont le même taux de réussite. Des métriques plus nuancées comme MRR et NDCG évaluent la qualité du classement et favorisent les systèmes qui placent les segments les plus pertinents en tête, là où le LLM et les utilisateurs sont le plus susceptibles de les exploiter.

Le taux de réussite@K est la métrique la plus simple : pour quelle proportion de requêtes au moins un segment pertinent apparaît-il parmi les K premiers résultats ? Il fournit un signal binaire pour chaque requête et est facile à interpréter. Calculez-le en vérifiant l'intersection entre l'ensemble des identifiants récupérés et celui des identifiants pertinents connus. Utilisez K=5 par défaut, car la plupart des systèmes RAG récupèrent 5 segments. Comparez les taux de réussite@1, @3 et @5 pour comprendre comment la sensibilité évolue lorsque vous élargissez la fenêtre de récupération.

MRR (rang réciproque moyen) mesure la moyenne de l'inverse du rang auquel apparaît le premier segment pertinent. Si le segment pertinent est au rang 1, le rang réciproque vaut 1/1 = 1,0. Au rang 2, il vaut 0,5 ; au rang 5, 0,2. La MRR est calculée sur l'ensemble des requêtes. Une MRR élevée signifie que le système de récupération place systématiquement les segments pertinents près du début, ce qui est important, car le LLM accorde davantage d'attention au contexte placé au début de l'invite.

Les scores MRR s'interprètent intuitivement : MRR = 1,0 signifie que le premier segment pertinent est toujours au rang 1 (résultat parfait). MRR = 0,5 signifie qu'il se trouve généralement au rang 2. MRR = 0,25 signifie qu'il se trouve généralement au rang 4 : les informations pertinentes apparaissent suffisamment bas pour risquer d'être tronquées dans le contexte. Pour RAG, visez une MRR > 0,7 afin de garantir que votre segment le plus pertinent se trouve systématiquement parmi les deux premières positions.

La précision@K mesure la proportion des K segments récupérés qui sont réellement pertinents. Contrairement au taux de réussite, qui est binaire, la précision@K mesure le rapport signal/bruit de vos résultats de récupération. Une faible précision signifie que le LLM reçoit un contexte non pertinent en plus des segments pertinents, ce qui accroît le risque de confusion ou d'injection d'invite. Pour RAG, une précision@5 > 0,6 constitue un objectif sain.

DCG est une métrique d'évaluation des listes classées qui récompense le placement des segments les plus pertinents en haut de la liste. Elle additionne les scores de pertinence des segments récupérés, tout en les actualisant logarithmiquement selon leur position : le rang 1 reçoit le crédit complet, le rang 2 reçoit une actualisation log(2), et ainsi de suite. Des segments plus pertinents en tête produisent une DCG plus élevée. La version normalisée (NDCG) divise la DCG par la DCG idéale, c'est-à-dire le meilleur classement possible, afin de produire un score compris entre 0 et 1.

La NDCG@K est la métrique de référence pour évaluer la récupération dans les systèmes de recherche. Elle prend simultanément en compte la pertinence et la position dans le classement. Une NDCG@5 de 0,85 signifie que votre système de récupération atteint en moyenne 85 % du meilleur classement théorique. La NDCG gère les cas où plusieurs segments sont pertinents pour une même requête (chacun reçoit un score de pertinence) et pénalise les systèmes qui trouvent les segments pertinents mais les classent trop bas.

La bibliothèque RAGAS fournit un cadre d'évaluation prêt pour la production des systèmes RAG. Elle implémente les métriques de précision du contexte, de rappel du contexte, de fidélité et de pertinence de la réponse selon une approche où un LLM joue le rôle d'évaluateur. Transmettez vos questions, réponses, contextes récupérés et réponses de référence à RAGAS pour recevoir un rapport d'évaluation complet avec un score pour chaque métrique. C'est le moyen le plus rapide de mettre en place une chaîne d'évaluation RAG complète.

Les moyennes globales des métriques masquent des tendances importantes. Répartissez votre jeu de données de référence en catégories — recherches factuelles, comparaisons, questions procédurales et questions hors périmètre — puis calculez les métriques séparément pour chacune. Vous pourriez constater que le taux de réussite atteint 95 % pour les recherches factuelles, mais seulement 60 % pour les comparaisons à plusieurs étapes. Les métriques par catégorie révèlent les modes d'échec précis que les scores agrégés dissimulent.

Il arrive que les métriques envoient des signaux contradictoires. Vous pouvez améliorer la NDCG (meilleur classement) tandis que le taux de réussite reste stable (même nombre d'échecs). Cela se produit lorsque l'optimisation fait passer des segments pertinents du rang 6 au rang 2 sans faire entrer dans les cinq premiers résultats des requêtes auparavant manquées. Dans ce cas, vérifiez si votre optimisation a amélioré les requêtes qui réussissaient déjà tout en négligeant celles qui échouaient. Examinez toujours des exemples d'échecs individuels en parallèle des métriques agrégées.

Le rappel@K mesure la proportion de tous les segments pertinents récupérés parmi les K premiers résultats. Si une question possède 3 segments pertinents dans l'index et que votre système de récupération en renvoie 2 parmi les 5 premiers, le rappel@5 vaut 2/3 = 0,67. Un rappel élevé est important lorsque le LLM a besoin de plusieurs éléments de preuve pour synthétiser une réponse complète : l'absence d'un seul segment clé peut rendre la réponse incomplète. Équilibrez précision et rappel en réglant K : une valeur de K plus élevée améliore le rappel, mais réduit la précision.

Testez votre compréhension des concepts d'ingénierie de l'IA présentés dans cette leçon.

Dans cette leçon, vous avez appris : le taux de réussite@K comme métrique binaire de présence, MRR pour mesurer la position moyenne du premier segment pertinent, la précision@K pour mesurer le rapport signal/bruit de la récupération, la NDCG@K comme métrique de classement de référence, et la bibliothèque RAGAS pour automatiser l'évaluation de RAG avec la précision du contexte, le rappel, la fidélité et la pertinence de la réponse. Nous allons ensuite approfondir les métriques de génération et la mesure de la fidélité.