Choisir des métriques pour les événements rares

Vous vous méfiez déjà de la précision en cas de déséquilibre. Vous avez maintenant besoin de mesures qui récompensent réellement la détection de l’événement rare.

La précision est la proportion des positifs signalés qui sont réellement positifs. Une précision élevée signifie que vos alertes contiennent peu de fausses alertes.

Le rappel est la proportion des positifs réels que vous avez effectivement détectés. Pour les événements rares et coûteux, les manquer est le pire résultat.

Le score F1 combine précision et rappel en un seul nombre. Il n’augmente que lorsque les deux sont convenables, ce qui pénalise un modèle déséquilibré.

Une courbe précision-rappel retrace le compromis pour chaque seuil. Elle décrit directement la classe rare qui vous intéresse.

En cas de fort déséquilibre, les courbes ROC peuvent sembler flatteuses, car les vrais négatifs sont nombreux. La courbe PR reste honnête concernant la classe rare.

La précision moyenne résume la courbe PR en un seul score. Une valeur élevée signifie que la précision reste forte pour de nombreux niveaux de rappel.

Un appel à scikit-learn affiche simultanément la précision, le rappel et le score F1 pour chaque classe, de sorte que la minorité ne soit jamais dissimulée.

Dans ce rapport, concentrez votre attention sur la ligne de la classe rare. Son rappel et sa précision vous indiquent si le modèle fonctionne réellement. 🎯

Si les cas manqués sont dangereux, optimisez le rappel. Si les fausses alertes sont coûteuses, privilégiez la précision. Laissez le coût réel décider.

Ne vous appuyez jamais sur un seul nombre. Présentez ensemble la précision, le rappel, le score F1 et une courbe PR afin que personne ne soit trompé par une précision gonflée.

Pour les événements rares, évaluez le modèle avec la précision, le rappel, le score F1 et les courbes PR, pas avec la précision globale. Adaptez la mesure à l’erreur qui vous coûte le plus cher. 🎯