Calibre la confianza

Cuando un modelo indica un 90 %, debería acertar aproximadamente el 90 % de las veces. La calibración mide si cumple esa promesa.

Las redes profundas modernas suelen producir probabilidades demasiado altas. Parecen seguras incluso cuando se equivocan con frecuencia.

En medicina o finanzas, las decisiones dependen de la cifra, no solo de la etiqueta. Una probabilidad fiable es tan importante como la predicción.

Represente la confianza predicha frente a la exactitud real en intervalos. Un modelo perfectamente calibrado sigue la línea diagonal.

ECE suma en una sola cifra la diferencia entre confianza y exactitud en los distintos intervalos. Un valor más bajo indica probabilidades mejor alineadas.

Una salida de softmax que parece indicar mucha confianza no es una garantía. Las puntuaciones sin procesar necesitan un paso de corrección para significar lo que indican.

La solución más sencilla divide los logits entre una temperatura aprendida antes de aplicar softmax, lo que suaviza las puntuaciones demasiado confiadas.

Debe ajustar la única temperatura en un conjunto de validación reservado, sin modificar los pesos ni la exactitud del modelo.

El escalado de temperatura solo reajusta la confianza; nunca cambia qué clase obtiene la mayor puntuación, por lo que conserva la exactitud.

Además de la temperatura, Platt scaling y la regresión isotónica también pueden convertir las puntuaciones sin procesar en probabilidades honestas.

Verifique siempre la calibración antes de actuar basándose en probabilidades. Un modelo bien calibrado le permite establecer umbrales con confianza. ✅

Recuerde cuál es el método más sencillo para corregir una red neuronal demasiado confiada.

Una buena calibración significa que la confianza coincide con la exactitud. Compruébela con diagramas de fiabilidad y ECE, y corríjala con el escalado de temperatura. 🎯