Métricas de generación: fidelidad y relevancia de la respuesta

Incluso cuando el recuperador encuentra los fragmentos perfectos, la etapa de generación puede fallar. El LLM podría ignorar el contexto recuperado y responder basándose en su memoria paramétrica, interpretar incorrectamente lo que dice el contexto o responder una pregunta ligeramente distinta de la que se formuló. Las métricas de generación cuantifican estos fallos de forma independiente de la recuperación, para que pueda localizar y corregir cada problema. Las dos métricas principales de generación son la fidelidad y la relevancia de la respuesta.

La fidelidad mide si cada afirmación de la respuesta generada puede rastrearse directamente hasta el contexto recuperado. Una respuesta fiel no introduce información que no esté presente en el contexto. La fidelidad se mide en el nivel de las afirmaciones: la respuesta se descompone en enunciados atómicos individuales y cada uno se comprueba con respecto al contexto para verificar que cuenta con respaldo. La puntuación de fidelidad es la fracción de afirmaciones respaldadas.

La forma más práctica de medir la fidelidad a escala es utilizar un LLM potente como evaluador. Indique al LLM evaluador que descomponga la respuesta en afirmaciones individuales y, después, compruebe cada afirmación con respecto al contexto. El evaluador devuelve una lista de afirmaciones etiquetadas como SUPPORTED o UNSUPPORTED, y usted calcula la fracción de las que cuentan con respaldo. Este enfoque permite escalar hasta miles de evaluaciones por hora, con un coste de unos pocos céntimos por evaluación.

La relevancia de la respuesta mide si la respuesta generada aborda realmente la pregunta del usuario. Una respuesta muy fiel aún puede no dar en el blanco; por ejemplo, si el usuario pregunta «¿Cómo restablezco mi contraseña?» y la respuesta explica detalladamente la política general de seguridad de la empresa sin mencionar el procedimiento para restablecer la contraseña. La relevancia de la respuesta es independiente de la fidelidad: puede ser fiel (decir únicamente cosas que aparecen en el contexto) pero irrelevante (no abordar lo que se preguntó).

RAGAS mide la relevancia de la respuesta mediante una ingeniosa técnica de generación inversa: el LLM evaluador genera varias preguntas hipotéticas cuya respuesta sería la respuesta generada y, después, mide cuánto se parecen estas preguntas generadas a la pregunta original mediante la similitud coseno de sus embeddings. Una alta similitud entre las preguntas hipotéticas generadas y la pregunta original indica una alta relevancia de la respuesta.

El recall del contexto mide si el contexto recuperado contiene información suficiente para responder correctamente a la pregunta. Comprueba la respuesta de referencia oración por oración: ¿se puede atribuir cada oración a uno de los fragmentos recuperados? Un recall del contexto alto significa que el recuperador encontró todo lo necesario. Un recall del contexto bajo significa que faltaba información clave en los fragmentos recuperados, por lo que el LLM no puede responder correctamente, ni siquiera con una generación perfecta.

La precisión del contexto mide si los fragmentos recuperados son realmente útiles para responder a la pregunta. Una precisión del contexto alta significa que los fragmentos recuperados son muy relevantes. Una precisión del contexto baja significa que muchos fragmentos recuperados son ruido fuera de tema que el LLM debe leer y descartar, lo que aumenta el riesgo de confusión. La precisión del contexto se mide comprobando qué fragmentos recuperados se utilizaron o se citaron realmente en la respuesta generada.

La biblioteca RAGAS implementa las cuatro métricas principales de RAG —precisión del contexto, recall del contexto, fidelidad y relevancia de la respuesta— en un único framework. Gestiona internamente las llamadas al LLM evaluador. Pase un conjunto de datos con preguntas, respuestas generadas, contextos recuperados y respuestas de referencia, y recibirá un informe completo de puntuaciones. RAGAS también admite la evaluación asíncrona, por lo que puede evaluar cientos de ejemplos en paralelo.

La combinación de métricas revela problemas específicos del sistema. Fidelidad baja + precisión del contexto alta → el LLM ignora el contexto y alucina (corrija el prompt). Recall del contexto bajo + fidelidad alta → al recuperador le faltan fragmentos clave, pero el LLM informa fielmente de lo que encontró (corrija la división en fragmentos o los embeddings). Relevancia de la respuesta baja + fidelidad alta → los fragmentos recuperados están relacionados tangencialmente y el LLM habla fielmente de ellos, pero no responde a la pregunta (mejore el filtrado de la recuperación o la reescritura de consultas).

Las métricas de LLM como evaluador se correlacionan con el criterio humano, pero no coinciden perfectamente. Calibre sus métricas automatizadas haciendo que 3 evaluadores humanos puntúen una muestra aleatoria de 50 respuestas en fidelidad y relevancia de la respuesta, utilizando una escala del 1 al 5. Calcule la concordancia entre el LLM evaluador y la puntuación humana media. Si el LLM asigna sistemáticamente puntuaciones superiores o inferiores a las de los evaluadores humanos, aplique un factor de corrección. Las métricas automatizadas calibradas le dan la confianza de que las mejoras en las puntuaciones reflejan mejoras reales de calidad.

Antes de implementar un sistema RAG en producción, defina umbrales mínimos de las métricas que el sistema debe cumplir. Algunos objetivos habituales en producción son: fidelidad > 0.90 (menos del 10 % de las afirmaciones de la respuesta son alucinaciones), relevancia de la respuesta > 0.80 (al menos el 80 % de las respuestas aborda realmente la pregunta), precisión del contexto > 0.60 (la mayoría de los fragmentos recuperados son relevantes) y recall del contexto > 0.75 (la mayoría de los datos clave están disponibles en el contexto recuperado). Los sistemas que no cumplan estos umbrales no deben implementarse sin realizar antes mejoras adicionales.

En esta lección ha aprendido: la fidelidad como métrica a nivel de afirmación que comprueba si cada afirmación de la respuesta está respaldada por el contexto recuperado; la relevancia de la respuesta como métrica que mide si la respuesta aborda la pregunta real; el recall y la precisión del contexto para medir la calidad de la recuperación desde la perspectiva de la generación; y la biblioteca RAGAS para la evaluación automatizada de varias métricas. A continuación, reuniremos todas estas métricas en un sistema de evaluación automatizado que podrá ejecutar cada vez que realice un cambio.