Évaluation des performances d’un modèle

Évaluer les performances du modèle

Évaluer les performances d’un modèle d’apprentissage automatique est essentiel pour garantir son efficacité. Pour les problèmes de classification, nous utilisons des métriques comme l’exactitude, la précision, le rappel et le score F1.

L’exactitude mesure le rapport entre le nombre d’instances correctement prédites et le nombre total d’instances :

Accuracy = (True Positives + True Negatives) / Total Instances

Bien qu’elle soit utile, l’exactitude seule peut ne pas suffire pour les jeux de données déséquilibrés.

La précision porte sur la justesse des prédictions positives :

Precision = True Positives / (True Positives + False Positives)

Une précision élevée signifie qu’il y a moins de faux positifs.

Le rappel mesure la capacité du modèle à identifier correctement toutes les instances positives :

Recall = True Positives / (True Positives + False Negatives)

Un rappel élevé signifie qu’il y a moins de faux négatifs.

Le score F1 est la moyenne harmonique de la précision et du rappel :

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Il établit un équilibre entre la précision et le rappel, ce qui est particulièrement utile pour les jeux de données déséquilibrés.

Scikit-learn fournit des fonctions permettant de calculer ces métriques :

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Une matrice de confusion fournit une vue détaillée des performances du modèle :

• Vrais positifs (TP) : Prédictions positives correctes.
• Faux positifs (FP) : Prédictions positives incorrectes.
• Vrais négatifs (TN) : Prédictions négatives correctes.
• Faux négatifs (FN) : Prédictions négatives incorrectes.

Le choix de la métrique dépend du problème :

• Exactitude : Fonctionne bien avec les jeux de données équilibrés.
• Précision : Importante lorsque les faux positifs ont un coût élevé.
• Rappel : Essentiel lorsque les faux négatifs ont un coût élevé.
• Score F1 : Métrique équilibrée pour les jeux de données déséquilibrés.

Dans cette leçon, nous avons étudié :

• Les métriques d’évaluation des performances d’un modèle : exactitude, précision, rappel et score F1.
• La manière de calculer ces métriques à l’aide de scikit-learn.
• La manière d’interpréter une matrice de confusion.

Nous allons maintenant découvrir des méthodes d’apprentissage non supervisé comme le regroupement.