Evaluación del rendimiento del modelo

Evaluar el rendimiento de un modelo de aprendizaje automático es fundamental para garantizar su eficacia. En los problemas de clasificación, utilizamos métricas como la exactitud, la precisión, el recall y la puntuación F1.

Exactitud

La exactitud mide la proporción de instancias predichas correctamente con respecto al número total de instancias:

Accuracy = (True Positives + True Negatives) / Total Instances

Aunque resulta útil, la exactitud por sí sola puede no ser suficiente para conjuntos de datos desequilibrados.

Precisión

La precisión se centra en la corrección de las predicciones positivas:

Precision = True Positives / (True Positives + False Positives)

Una precisión alta significa que hay menos falsos positivos.

Recall

El recall mide la capacidad del modelo para identificar correctamente todas las instancias positivas:

Recall = True Positives / (True Positives + False Negatives)

Un recall alto significa que hay menos falsos negativos.

Puntuación F1

La puntuación F1 es la media armónica de la precisión y el recall:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Equilibra la precisión y el recall, por lo que resulta especialmente útil para conjuntos de datos desequilibrados.

Uso de scikit-learn para las métricas

Scikit-learn proporciona funciones para calcular estas métricas:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Matriz de confusión

Una matriz de confusión ofrece una visión detallada del rendimiento del modelo:

• Verdaderos positivos (TP): Predicciones positivas correctas.
• Falsos positivos (FP): Predicciones positivas incorrectas.
• Verdaderos negativos (TN): Predicciones negativas correctas.
• Falsos negativos (FN): Predicciones negativas incorrectas.

Elegir la métrica adecuada

La elección de la métrica depende del problema:

• Exactitud: Funciona bien con conjuntos de datos equilibrados.
• Precisión: Es importante cuando los falsos positivos tienen un alto coste.
• Exhaustividad: Es fundamental cuando los falsos negativos tienen un alto coste.
• Puntuación F1: Métrica equilibrada para conjuntos de datos desequilibrados.

Resumen y próximos pasos

En esta lección, hemos visto:

• Métricas para evaluar el rendimiento del modelo: exactitud, precisión, exhaustividad y puntuación F1.
• Cómo calcular estas métricas mediante scikit-learn.
• Cómo interpretar una matriz de confusión.

A continuación, exploraremos métodos de aprendizaje no supervisado, como la agrupación.