Précision, rappel, F1 et ROC-AUC

Lorsqu'une classe domine, la précision peut sembler excellente même avec un modèle inutile. Vous avez besoin de métriques plus pertinentes pour évaluer les performances réelles.

Chaque prédiction est un vrai positif, un vrai négatif, un faux positif ou un faux négatif. Ces quatre comptages alimentent toutes les métriques plus élaborées.

La précision demande : parmi tous les éléments signalés comme positifs, combien l'étaient réellement ? Une précision élevée signifie peu de fausses alertes.

Le rappel demande : parmi tous les vrais positifs, combien en avez-vous détectés ? Un rappel élevé signifie peu de cas manqués.

Augmenter la précision fait souvent baisser le rappel, et inversement. Le bon équilibre dépend du coût de chaque type d'erreur.

Le score F1 est la moyenne harmonique de la précision et du rappel. Il favorise les modèles qui maintiennent ces deux valeurs à un niveau raisonnablement élevé.

Un classifieur produit une probabilité ; le seuil détermine si le résultat est positif ou négatif. Le déplacer modifie la précision et le rappel.

La courbe ROC représente le taux de vrais positifs par rapport au taux de faux positifs pour chaque seuil, montrant d'un coup d'œil l'ensemble du compromis.

ROC-AUC est l'aire sous cette courbe. Elle mesure la qualité du classement au moyen d'un nombre indépendant du seuil, compris entre zéro et un.

Une AUC de 0,5 correspond à des devinettes aléatoires, tandis que 1,0 représente une séparation parfaite. Une valeur plus élevée signifie que le modèle classe correctement les positifs au-dessus des négatifs.

Choisissez votre métrique selon la tâche : le rappel pour le dépistage des maladies, la précision pour les filtres anti-spam et l'AUC pour la qualité du classement.

Allez au-delà de la précision avec la précision, le rappel, le score F1 et ROC-AUC. Chacune répond à une question différente : faites donc correspondre la métrique à votre objectif. 🎯