Calibración de modelos juez frente a evaluadores humanos

Un evaluador LLM sin calibrar puede asignar sistemáticamente puntuaciones más altas o más bajas que las personas, preferir un estilo de redacción concreto o fallar en casos límite que su rúbrica no había previsto. Si utiliza un evaluador así para tomar decisiones de despliegue, está confiando en un instrumento sesgado. La calibración valida el evaluador frente a la referencia objetiva humana y cuantifica cuánto puede confiar en sus puntuaciones antes de utilizarlas en producción.

Cree un conjunto de calibración de entre 100 y 500 respuestas de ejemplo que hayan sido evaluadas por personas. Procure que sea diverso: incluya respuestas de alta calidad (puntuación 5), de calidad media (puntuación 3) y claramente deficientes (puntuación 1). Haga que entre 3 y 5 evaluadores humanos independientes puntúen cada ejemplo para medir la concordancia entre evaluadores y calcule una puntuación de referencia consensuada mediante el promedio o la moda.

Antes de confiar en las puntuaciones humanas como referencia objetiva, compruebe que los evaluadores humanos coinciden entre sí. La kappa de Cohen mide la concordancia entre dos evaluadores más allá de la esperada por azar: un valor superior a 0,6 es aceptable y uno superior a 0,8 es excelente. Para escalas de 5 puntos, calcule la kappa ponderada (con ponderaciones lineales). Una concordancia baja entre evaluadores significa que la tarea está definida de forma ambigua; mejore las directrices para los evaluadores antes de utilizar las puntuaciones para calibrar un evaluador.

Ejecute el evaluador LLM en cada ejemplo del conjunto de calibración utilizando el mismo prompt que planea usar en producción. Recopile la puntuación del evaluador para cada ejemplo junto con la puntuación consensuada por las personas. Mantenga ambas listas alineadas para poder compararlas elemento por elemento. Esta comparación por pares es la que revela los sesgos sistemáticos y las diferencias en el intervalo de puntuaciones.

Calcule la correlación de Pearson entre las puntuaciones del evaluador y las puntuaciones consensuadas por las personas. Esto mide la concordancia lineal: una correlación de 1,0 significa que el evaluador sigue perfectamente las clasificaciones humanas. Calcule también el error absoluto medio (MAE) para conocer la diferencia media entre puntuaciones. Una correlación superior a 0,7 y un MAE inferior a 0,8 puntos en una escala de 5 puntos suelen indicar que el evaluador es suficientemente fiable para producción.

Además de la correlación, busque sesgos sistemáticos: ¿el evaluador asigna puntuaciones demasiado altas o demasiado bajas de forma constante? Represente las puntuaciones del evaluador frente a las puntuaciones humanas y busque una línea de regresión que no pase por el origen. Si el evaluador asigna 4 cuando las personas asignan 3 de media, presenta un sesgo de inflación. Corríjalo ajustando la rúbrica o aplicando una transformación lineal de calibración a las puntuaciones sin procesar.

Una vez que tenga la regresión de calibración (pendiente e intercepto), aplíquela para transformar las puntuaciones sin procesar del evaluador en puntuaciones calibradas que se ajusten mejor a las valoraciones humanas. Esta corrección lineal es sencilla y eficaz. Limite la puntuación corregida al intervalo válido (1-5) para evitar valores fuera de rango producidos por la regresión. Guarde tanto las puntuaciones sin procesar como las corregidas para permitir comparaciones retrospectivas a medida que aumenten los datos de calibración.

Agrupe los errores de calibración por tipo de pregunta, longitud de la respuesta y área temática para encontrar fallos recurrentes. El evaluador puede no ser fiable en preguntas técnicas de programación, pero sí ser preciso en preguntas factuales. Puede asignar puntuaciones demasiado altas a respuestas muy largas y demasiado bajas a respuestas breves y concisas. Estos patrones orientan mejoras específicas de la rúbrica o prompts del evaluador adaptados a cada tema en los ámbitos donde la calibración es más débil.

La calibración no es una tarea que se realice una sola vez. A medida que recopile más valoraciones humanas y las actualizaciones del modelo modifiquen el comportamiento del evaluador, vuelva a ejecutar la calibración cada trimestre. Realice un seguimiento de las métricas de calibración a lo largo del tiempo; si la correlación de Pearson cae por debajo de 0,7, investigue si una actualización del modelo modificó la distribución de puntuaciones del evaluador. Automatice el flujo de calibración para que volver a ejecutarlo sea un único comando que genere un coeficiente de corrección actualizado.

Documente el modelo evaluador, la versión del prompt, el tamaño y la fecha del conjunto de datos de calibración, las métricas de calibración y cualquier coeficiente de corrección en un archivo de configuración del evaluador incluido en el control de versiones. Esto crea un registro de auditoría para que los futuros miembros del equipo entiendan por qué las puntuaciones son como son y para que pueda detectar cuándo los cambios en las métricas se deben a una reconfiguración del evaluador y no a cambios reales de calidad.

Un único prompt de evaluación que puntúa varias dimensiones a la vez suele producir puntuaciones correlacionadas: el evaluador asigna una corrección alta porque también ha asignado una claridad alta, anclándose en su primera impresión. Los prompts específicos para cada dimensión evalúan cada criterio de forma independiente en una llamada de API separada. Es más costoso, pero produce puntuaciones más fiables que son realmente mediciones independientes. Utilice prompts separados para las dimensiones en las que espere que las puntuaciones varíen de forma independiente.

En esta lección ha aprendido que los conjuntos de datos de calibración con puntuaciones consensuadas por personas proporcionan una referencia objetiva para medir la fiabilidad del evaluador; la correlación de Pearson y el MAE cuantifican hasta qué punto el evaluador sigue las valoraciones humanas; y la corrección lineal del sesgo ajusta las puntuaciones sistemáticamente demasiado altas o demasiado bajas. A continuación creará un flujo de evaluación continua integrado con CI/CD.