Por qué la exactitud engaña con datos desequilibrados

La exactitud parece la métrica obvia: cuántas predicciones acertó. Con datos equilibrados funciona bien, pero el desequilibrio la rompe silenciosamente.

Un conjunto de datos está desequilibrado cuando una clase es mucho menos frecuente que las demás. Piense en fraude, enfermedades o abandono: el evento interesante es el menos frecuente.

Imagine 99 transacciones normales por cada fraude. Un modelo que siempre grita «normal» obtiene una magnífica exactitud del 99 %. ⚠️

Ese modelo del 99 % nunca marcó un solo fraude. El número parece excelente, pero el modelo es inútil para el trabajo exacto para el que lo contrató.

La exactitud promedia todas las filas, por lo que la enorme mayoría ahoga a la diminuta minoría. La clase minoritaria puede ser un fracaso total y apenas afectar a la puntuación.

Compare siempre con la línea base de la clase mayoritaria: prediga simplemente la etiqueta más común. Si su modelo no puede superarla, no ha aprendido nada útil.

Antes de celebrarlo, pregúntese una cosa: ¿qué proporción de las filas pertenece a la clase mayoritaria? Ese número es la exactitud que un modelo perezoso obtiene gratis.

Una sola línea revela hasta qué punto sus etiquetas están desequilibradas. Si un valor eclipsa a los demás, la exactitud por sí sola le llevará a conclusiones erróneas.

No detectar la clase minoritaria suele ser lo más perjudicial: un tumor o un fraude no detectados resultan costosos. La exactitud trata todos los errores como iguales, pero la realidad no.

La solución todavía no es una métrica mágica, sino una forma de pensar. Deje de confiar en un único número y empiece a preguntarse cómo le fue realmente a la clase minoritaria.

Pronto conocerá la precisión, la exhaustividad y las curvas PR, diseñadas para eventos poco frecuentes. Primero, asimile por qué aquí la exactitud se ganó su desconfianza.

Con datos desequilibrados, la exactitud favorece a los modelos perezosos que ignoran la clase minoritaria. Supere la línea base mayoritaria y evalúe cómo le fue realmente a la clase minoritaria. 🎯