El patrón LLM como juez

Evaluar manualmente las salidas de los LLM es lento y costoso. Un equipo de evaluadores humanos puede analizar unos cientos de salidas por semana, pero un sistema en producción genera miles al día. LLM-as-judge utiliza un modelo de lenguaje potente para evaluar a gran escala la calidad de las salidas de otros LLM, lo que permite realizar pruebas de regresión automatizadas y supervisar continuamente la calidad sin contratar a un gran número de anotadores.

En LLM-as-judge, envía a un modelo juez (normalmente GPT-4o o Claude) un prompt de sistema que define los criterios de evaluación, la pregunta original, la respuesta del modelo y, opcionalmente, una respuesta de referencia. El juez devuelve una puntuación numérica, una etiqueta o una clasificación. Esto funciona porque los modelos de última generación comprenden suficientemente conceptos de calidad como la corrección, la utilidad y la coherencia.

Un buen prompt para el juez especifica rúbricas explícitas con definiciones de las puntuaciones, en lugar de términos imprecisos como «bueno» o «malo». Defina concretamente qué significa una puntuación de 5, 3 o 1 para cada criterio. Proporcione la pregunta, la respuesta que se va a evaluar y, opcionalmente, una respuesta de referencia. Pida el razonamiento antes de la puntuación (chain-of-thought) para reducir las puntuaciones arbitrarias.

Llame al modelo juez con su prompt de evaluación. Analice la respuesta JSON para extraer las puntuaciones. Utilice siempre salidas estructuradas o el modo JSON para garantizar que el juez devuelva datos analizables. Utilizar el mismo modelo como sistema evaluado y como juez puede introducir sesgos; prefiera un modelo diferente o, al menos, una configuración distinta para el juez.

Existen dos modos de evaluación mediante LLM. La evaluación sin referencia pide al juez que valore la calidad sin una respuesta verdadera de referencia, lo que resulta útil cuando no existe una respuesta correcta establecida, como en un chat abierto. La evaluación basada en referencias proporciona una respuesta de referencia y pregunta si la respuesta del modelo coincide con ella; es más adecuada para responder preguntas factuales cuya respuesta correcta se conoce. Utilice la evaluación basada en referencias cuando disponga de un conjunto de pruebas etiquetado.

Los jueces LLM presentan sesgos conocidos: prefieren las respuestas más largas (sesgo de verbosidad), las respuestas que suenan seguras y las respuestas que coinciden con el estilo de sus datos de entrenamiento. Mitigue el sesgo de verbosidad penalizando explícitamente la longitud innecesaria en su rúbrica. Reduzca el sesgo de posición en las comparaciones por pares aleatorizando qué respuesta aparece primero y promediando las puntuaciones de ambos órdenes.

Ejecute las evaluaciones del juez en paralelo para evaluar rápidamente conjuntos de pruebas grandes. Con asyncio y un semáforo, puede evaluar cientos de salidas por minuto. Mantenga un presupuesto de límite de solicitudes independiente para las llamadas al juez (también consumen tokens) y considere utilizar un modelo juez más pequeño, pero capaz, como GPT-4o-mini para los criterios que no requieren un razonamiento profundo. Reserve GPT-4o para los criterios más importantes.

Después de evaluar un conjunto de pruebas, agregue las puntuaciones en estadísticas resumidas: media, mediana y porcentaje de respuestas que superan un umbral de calidad (por ejemplo, corrección ≥ 4). Compare estos agregados entre versiones del modelo o variaciones del prompt. Una disminución superior al 5 % en la tasa de respuestas por encima del umbral debería activar una revisión antes de implementar la nueva versión.

Utilice LLM-as-judge para comparar dos versiones de su sistema, por ejemplo, antes y después de cambiar un prompt. Ejecute ambas versiones con el mismo conjunto de preguntas de prueba, evalúe todas las salidas y calcule la tasa de victorias: el porcentaje de casos en los que la versión B obtiene una puntuación superior a la versión A. Una tasa de victorias superior al 55 % en más de 100 muestras suele ser estadísticamente significativa para justificar la implementación de la nueva versión.

Valide su juez comparando sus puntuaciones con evaluaciones humanas en un conjunto de calibración de 50 a 200 ejemplos. Calcule la correlación de Pearson entre las puntuaciones del juez y las humanas. Una correlación superior a 0.7 indica que el juez es fiable. Si la correlación es baja, revise el prompt del juez para identificar en qué puntos discrepa de los evaluadores humanos y añada ejemplos o aclaraciones a la rúbrica. No implemente nunca un juez sin calibrarlo.

LLM-as-judge no es adecuado para todos los escenarios de evaluación. Evítelo cuando: el criterio requiera conocimientos especializados que el modelo juez no posea (precisión de diagnósticos médicos o cumplimiento legal); necesite una evaluación defendible jurídicamente (se requiere revisión humana); evalúe un modelo más potente que el juez (el juez no puede puntuar de forma fiable una salida que no podría producir); o el presupuesto de evaluación sea demasiado limitado para asumir el costo adicional de la API. En estos casos, utilice evaluación humana o métricas deterministas.

En esta lección aprendió que LLM-as-judge utiliza un modelo potente para evaluar la calidad a gran escala mediante rúbricas explícitas; los modos sin referencia y basados en referencias se adaptan a distintos escenarios de evaluación; y la calibración con evaluaciones humanas valida que el juez sea fiable antes de utilizarlo en producción. A continuación, implementaremos estrategias de evaluación individual y por pares.