Evaluación puntual y por pares

Hay dos enfoques fundamentales para evaluar LLM: la puntuación puntwise y la comparación pairwise. La puntuación puntwise asigna una calificación absoluta a una única respuesta según una rúbrica. La comparación pairwise determina cuál de dos respuestas es mejor. Cada enfoque tiene sus ventajas: la puntuación puntwise proporciona valores de calidad absolutos, útiles para hacer un seguimiento a lo largo del tiempo; la comparación pairwise captura mejor las diferencias sutiles de calidad y se utiliza para las pruebas A/B entre versiones de modelos.

En la evaluación puntwise, el evaluador asigna una puntuación en una escala fija (normalmente de 1 a 5 o de 1 a 10) para una o más dimensiones de calidad: corrección, utilidad, claridad y seguridad. Las puntuaciones son independientes de otras respuestas: una puntuación de 4/5 representa la misma calidad independientemente de qué otras respuestas existan. Esto hace que las puntuaciones puntwise sean directamente comparables a lo largo del tiempo, entre modelos y entre versiones de prompts.

La calidad de las puntuaciones puntwise depende por completo de la rúbrica. Defina ejemplos de referencia para cada nivel de puntuación, de modo que el evaluador disponga de referencias concretas. Para la corrección, una puntuación de 5 significa «Todas las afirmaciones son objetivamente exactas y verificables». Una puntuación de 3 significa «La respuesta es mayormente exacta, pero contiene un error menor». Una puntuación de 1 significa «Contiene un error factual importante que induciría a error al usuario». Las referencias concretas reducen la variabilidad de las puntuaciones.

En la evaluación pairwise, el evaluador recibe dos respuestas a la misma pregunta y decide cuál es mejor o declara un empate. La evaluación pairwise es más sensible a las diferencias sutiles de calidad que la puntuación puntwise: a las personas y a los evaluadores LLM les resulta más fácil decir «esta es mejor» que asignar un número preciso. Utilice la comparación pairwise al probar cambios en prompts, versiones de modelos o modelos ajustados mediante fine-tuning.

Los evaluadores LLM presentan sesgo de posición: favorecen sistemáticamente la primera respuesta (sesgo de primacía) o la última (sesgo de recencia). Para cancelar este sesgo, ejecute cada par dos veces con el orden invertido y declare un ganador únicamente cuando el evaluador coincida en ambos órdenes. Si el evaluador elige A en el primer orden y B en el segundo, declare un empate: el evaluador no tiene suficiente confianza para diferenciarlas.

Utilice la evaluación puntwise para supervisar la calidad absoluta a lo largo del tiempo, detectar regresiones después de actualizaciones y evaluar requisitos estrictos (seguridad y cumplimiento de políticas). Utilice la evaluación pairwise para elegir entre dos versiones de un modelo, escoger entre estrategias de prompts y realizar pruebas A/B en las que la preferencia relativa importa más que la calidad absoluta. Muchos sistemas de producción utilizan ambas.

Tanto las evaluaciones puntwise como las pairwise requieren un conjunto de pruebas seleccionado: una colección de preguntas representativas que refleje la distribución real de las consultas de los usuarios. Incluya casos límite, casos habituales y casos adversarios. Procure contar con al menos 100 ejemplos para la comparación pairwise y 200 para el seguimiento puntwise. Un conjunto de pruebas demasiado pequeño produce resultados estadísticamente poco fiables que llevan a decisiones equivocadas.

Calcule la tasa de victorias de las comparaciones pairwise: la fracción de casos de prueba en los que la versión B supera a la versión A. Una tasa de victorias del 50 % significa que no hay diferencia. Una tasa superior al 60 % en más de 100 muestras suele ser suficiente para preferir la versión B. Por debajo del 60 %, con el mismo tamaño de muestra, la diferencia podría no ser estadísticamente significativa. Utilice una prueba binomial o bootstrap para calcular un intervalo de confianza.

Utilice ambos modos de evaluación conjuntamente para tomar decisiones sólidas. Ejecute la puntuación puntwise en todo el conjunto de pruebas para obtener una línea base de calidad absoluta. Ejecute la comparación pairwise únicamente en el subconjunto en el que las puntuaciones puntwise difieran entre versiones: son los casos controvertidos en los que el juicio de preferencia similar al humano aporta más valor. Este enfoque híbrido reduce los costes de la API del evaluador y, al mismo tiempo, aumenta la confianza en las decisiones.

Los resultados de la evaluación son estimaciones, no verdades absolutas. Un modelo evaluador tiene sus propios sesgos y limitaciones de capacidad. Sea escéptico ante diferencias muy pequeñas (menos de un 5 % de diferencia en la tasa de victorias o de 0,2 puntos en la puntuación puntwise): podrían no reflejar diferencias reales de calidad que sus usuarios notarían. Compruebe siempre manualmente entre 10 y 20 ejemplos sorprendentes antes de tomar una decisión de despliegue basada únicamente en puntuaciones automatizadas.

Defina con qué frecuencia ejecutará cada tipo de evaluación. Ejecute comprobaciones puntwise en cada pull request (100 casos, rápidas). Ejecute la evaluación puntwise completa semanalmente (más de 300 casos, más lenta). Ejecute comparaciones pairwise únicamente al tomar una decisión explícita sobre un cambio de modelo o de prompt. Actualice el conjunto de pruebas cada trimestre sustituyendo entre el 10 % y el 15 % de los casos por muestras nuevas de consultas recientes de producción. Un conjunto de pruebas obsoleto ya no refleja a su población real de usuarios.

En esta lección ha aprendido que la puntuación puntwise asigna valores de calidad absolutos útiles para seguir tendencias a lo largo del tiempo; la comparación pairwise detecta mejor las diferencias sutiles de calidad y es ideal para las pruebas A/B; y la mitigación del sesgo de posición requiere ejecutar cada par en ambos órdenes antes de declarar un ganador. A continuación calibrará los modelos evaluadores comparándolos con valoraciones humanas.