Évaluer les performances d'un modèle

Évaluer les performances d'un modèle d'apprentissage automatique est essentiel pour garantir son efficacité. Pour les problèmes de classification, nous utilisons des mesures comme l'exactitude, la précision, le rappel et la mesure F1.

Exactitude

L'exactitude mesure le rapport entre les cas correctement prédits et le nombre total de cas :

Accuracy = (True Positives + True Negatives) / Total Instances

Bien qu'elle soit utile, l'exactitude seule peut ne pas suffire pour les jeux de données déséquilibrés.

Précision

La précision porte sur la justesse des prédictions positives :

Precision = True Positives / (True Positives + False Positives)

Une précision élevée signifie moins de faux positifs.

Rappel

Le rappel mesure la capacité du modèle à identifier correctement tous les cas positifs :

Recall = True Positives / (True Positives + False Negatives)

Un rappel élevé signifie moins de faux négatifs.

Mesure F1

La mesure F1 est la moyenne harmonique de la précision et du rappel :

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Elle établit un équilibre entre la précision et le rappel, ce qui est particulièrement utile pour les jeux de données déséquilibrés.

Utiliser scikit-learn pour les métriques

Scikit-learn fournit des fonctions pour calculer ces métriques :

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Matrice de confusion

Une matrice de confusion offre une vue détaillée des performances du modèle :

• Vrais positifs (TP) : Prédictions positives correctes.
• Faux positifs (FP) : Prédictions positives incorrectes.
• Vrais négatifs (TN) : Prédictions négatives correctes.
• Faux négatifs (FN) : Prédictions négatives incorrectes.

Choisir la bonne métrique

Le choix de la métrique dépend du problème :

• Exactitude : Fonctionne bien avec les jeux de données équilibrés.
• Précision : Importante lorsque les faux positifs sont coûteux.
• Rappel : Crucial lorsque les faux négatifs sont coûteux.
• Score F1 : Métrique équilibrée pour les jeux de données déséquilibrés.

Résumé et prochaines étapes

Dans cette leçon, nous avons vu :

• Les métriques d'évaluation des performances du modèle : exactitude, précision, rappel et score F1.
• Comment calculer ces métriques avec scikit-learn.
• Comment interpréter une matrice de confusion.

Nous examinerons ensuite des méthodes d'apprentissage non supervisé comme le regroupement.