Elección del umbral y la métrica

Los clasificadores producen una probabilidad y, después, un umbral la convierte en una etiqueta. El valor predeterminado de 0.5 rara vez es el mejor para las clases minoritarias.

Al reducir el umbral, se marcan más elementos como pertenecientes a la clase minoritaria y se detectan más casos reales, a costa de generar más falsas alarmas.

Para ajustar un punto de corte necesita puntuaciones, no solo etiquetas. Pida al modelo la probabilidad predicha de la clase positiva.

Decida qué le perjudica más. Si no detectar casos poco frecuentes es el problema, optimice el recall; si hay demasiadas falsas alarmas, dé prioridad a la precisión.

Cuando no puede elegir un solo aspecto, la puntuación F1 combina la precisión y el recall en un único número que conviene maximizar.

En datos sesgados, la curva precision-recall refleja la situación real mucho mejor que una curva ROC.

Pruebe muchos puntos de corte y observe cómo cambia el equilibrio. La curva PR muestra a la vez cada combinación de precisión y recall.

Cuando elija un valor, compare con él cada probabilidad. Los valores superiores se convierten en la clase positiva y los inferiores, en la negativa.

ROC AUC puede parecer excelente con un gran desequilibrio, incluso cuando la precisión es baja; por eso, no debe confiar únicamente en esta métrica.

Elija el umbral en un conjunto de validación reservado, nunca en el conjunto de prueba; de lo contrario, las cifras que informe serán engañosas.

La métrica adecuada refleja el coste en el mundo real. Deje que el objetivo empresarial determine si debe usar precisión, recall o F1 y, después, ajústese a él. 🎯

Ajuste el umbral con datos de validación, dé prioridad a la precisión, el recall o F1 frente a la exactitud y confíe en la curva PR cuando haya sesgo. ✅