Métricas de recuperación: hit rate, MRR y NDCG

La tasa de aciertos indica si un fragmento relevante apareció en algún lugar de los K resultados principales, pero no indica dónde apareció en la clasificación. Un sistema que siempre coloca el mejor fragmento en la posición 5 es peor que uno que lo coloca sistemáticamente en la posición 1, aunque ambos tengan la misma tasa de aciertos. Métricas más precisas, como MRR y NDCG, capturan la calidad de la clasificación y recompensan a los sistemas que colocan los fragmentos más relevantes al principio, donde es más probable que el LLM y los usuarios los utilicen.

La tasa de aciertos@K es la métrica más sencilla: ¿para qué fracción de las consultas aparece al menos un fragmento relevante entre los K resultados principales? Proporciona una señal binaria por consulta y es fácil de interpretar. Calcule esta métrica comprobando la intersección entre el conjunto de identificadores recuperados y el conjunto de identificadores relevantes conocidos. Utilice K=5 como valor predeterminado, ya que la mayoría de los sistemas RAG recuperan 5 fragmentos. Compare la tasa de aciertos@1, @3 y @5 para comprender cómo cambia la sensibilidad al ampliar la ventana de recuperación.

MRR (Mean Reciprocal Rank) mide el promedio del inverso de la posición en la que aparece el primer fragmento relevante. Si el fragmento relevante ocupa la posición 1, el rango recíproco es 1/1 = 1.0. En la posición 2 es 0.5 y en la posición 5 es 0.2. El MRR se calcula como promedio de todas las consultas. Un MRR más alto significa que el recuperador coloca sistemáticamente los fragmentos relevantes cerca del principio, lo cual es importante porque el LLM presta más atención al contexto situado al principio del prompt.

Las puntuaciones MRR tienen interpretaciones intuitivas: MRR = 1.0 significa que el primer fragmento relevante siempre ocupa la posición 1 (resultado perfecto). MRR = 0.5 significa que normalmente ocupa la posición 2. MRR = 0.25 significa que normalmente ocupa la posición 4; la información relevante aparece lo bastante abajo como para que se trunque al formar el contexto. En RAG, el objetivo es MRR > 0.7 para garantizar que el fragmento más relevante se encuentre sistemáticamente entre las dos primeras posiciones.

Precision@K mide qué fracción de los K fragmentos recuperados es realmente relevante. A diferencia de la tasa de aciertos (que es binaria), precision@K mide la relación señal-ruido de los resultados de recuperación. Una precisión baja significa que el LLM recibe contexto irrelevante junto con los fragmentos relevantes, lo que aumenta el riesgo de confusión o de inyección de prompts. En RAG, un objetivo saludable es precision@5 > 0.6.

DCG es una métrica de evaluación de listas clasificadas que recompensa colocar los fragmentos más relevantes en las posiciones superiores. Suma las puntuaciones de relevancia de los fragmentos recuperados, pero las descuenta logarítmicamente según la posición: la posición 1 recibe todo el crédito, la posición 2 recibe el descuento de log(2), y así sucesivamente. Los fragmentos más relevantes en las primeras posiciones producen un DCG mayor. La versión normalizada (NDCG) divide el resultado entre el DCG ideal (la mejor clasificación posible) para producir una puntuación entre 0 y 1.

NDCG@K es la métrica de referencia para evaluar la recuperación en sistemas de búsqueda. Captura simultáneamente la relevancia y la posición en la clasificación. Un NDCG@5 de 0.85 significa que, en promedio, su recuperador alcanza el 85 % de la mejor clasificación teórica. NDCG gestiona los casos en los que hay varios fragmentos relevantes por consulta (cada uno recibe una puntuación de relevancia) y penaliza a los sistemas que encuentran los fragmentos relevantes, pero los clasifican demasiado abajo.

La biblioteca RAGAS proporciona un framework de evaluación listo para producción para sistemas RAG. Implementa métricas de precisión del contexto, exhaustividad del contexto, fidelidad y relevancia de la respuesta mediante un enfoque de LLM como evaluador. Pase a RAGAS sus preguntas, respuestas, contextos recuperados y respuestas de referencia, y recibirá un informe de evaluación completo con las puntuaciones de cada métrica. Esta es la forma más rápida de configurar un pipeline integral de evaluación de RAG.

Las métricas promedio generales ocultan patrones importantes. Divida su conjunto de datos de referencia en categorías —consultas de datos fácticos, comparaciones, preguntas procedimentales de tipo «cómo hacerlo» y preguntas fuera del alcance— y calcule las métricas por separado para cada una. Puede descubrir que la tasa de aciertos es del 95 % para las consultas de datos fácticos, pero solo del 60 % para las comparaciones de varios pasos. Las métricas por categoría revelan los modos de fallo específicos que las puntuaciones agregadas ocultan.

A veces, las métricas envían señales contradictorias. Puede mejorar el NDCG (una mejor clasificación) mientras la tasa de aciertos permanece estable (el mismo número de fallos). Esto ocurre cuando la optimización mueve fragmentos relevantes de la posición 6 a la 2, sin incluir en los cinco primeros resultados consultas que antes no tenían aciertos. En estos casos, compruebe si la optimización ayudó en las consultas que ya funcionaban correctamente y descuidó las que fallaban. Examine siempre ejemplos de fallos individuales junto con las métricas agregadas.

Recall@K mide qué fracción de todos los fragmentos relevantes se recuperó entre los K resultados principales. Si una pregunta tiene 3 fragmentos relevantes en el índice y su recuperador devuelve 2 de ellos entre los 5 primeros resultados, recall@5 es 2/3 = 0.67. Una exhaustividad alta es importante cuando el LLM necesita varias evidencias para sintetizar una respuesta completa: omitir incluso un fragmento clave puede hacer que la respuesta quede incompleta. Equilibre precisión y exhaustividad ajustando K: un valor de K mayor mejora la exhaustividad, pero reduce la precisión.

Compruebe su comprensión de los conceptos de Ingeniería de IA de esta lección.

En esta lección ha aprendido: la tasa de aciertos@K como métrica binaria de presencia; MRR para medir la posición promedio del primer elemento relevante; precision@K para medir la relación señal-ruido de la recuperación; NDCG@K como métrica de referencia para listas clasificadas; y la biblioteca RAGAS para automatizar la evaluación de RAG con métricas de precisión del contexto, exhaustividad, fidelidad y relevancia de la respuesta. A continuación, profundizaremos en las métricas de generación y la medición de la fidelidad.