Échecs silencieux : aucun plantage, de mauvaises réponses

Une défaillance silencieuse est la pire qui soit : votre service renvoie une réponse parfaitement valide, mais la prédiction qu’elle contient est tout simplement fausse. 😬

Les logiciels classiques signalent bruyamment leurs pannes. Les modèles d’apprentissage automatique plantent presque jamais : ils produisent simplement un nombre. Un nombre faux ressemble exactement à un nombre correct.

Une caractéristique manquante remplacée silencieusement par une valeur par défaut produit tout de même un résultat. Le modèle effectue volontiers une prédiction à partir d’une valeur factice, sans que personne ne s’en aperçoive.

Envoyez un prix en centimes alors que le modèle a été entraîné en euros : il renverra tout de même une réponse assurée. Les décalages d’unités ne déclenchent jamais d’erreurs ; ils ne font qu’induire en erreur.

Un pipeline défectueux peut amener un classificateur à prédire toujours la même classe. La précision peut sembler correcte si cette classe est fréquente. Il s’agit d’un effondrement particulièrement insidieux.

Vous apprenez souvent la véritable étiquette plusieurs jours plus tard, par exemple pour savoir si un prêt a été remboursé ou non. En attendant, le modèle peut être faux pendant longtemps sans que personne ne le voie.

Une défense consiste à vérifier que les résultats se situent dans une plage raisonnable. Une probabilité prédite en dehors de zéro à un est un signal d’alerte évident qu’il vaut la peine de détecter.

Suivez la distribution des prédictions au fil du temps. Si le score moyen augmente soudainement, il est probable qu'un élément en amont soit défaillant. C'est la surveillance des sorties.

Rejetez les entrées impossibles avant qu'elles n'atteignent le modèle. Un âge négatif ou une chaîne vide doit échouer rapidement, et non se glisser dans une prédiction silencieuse.

Exécutez une référence simple à côté de votre modèle. Si les deux résultats diffèrent fortement, cet écart constitue une alerte peu coûteuse en cas de défaillance silencieuse.

Les défaillances silencieuses restent silencieuses uniquement si vous ne les surveillez jamais. Mettez en place des alertes sur les vérifications des entrées et les statistiques des sorties afin que le système vous prévienne en premier.

Les modèles échouent discrètement, et non bruyamment. Validez les entrées, limitez les sorties, surveillez les distributions des prédictions et déclenchez des alertes afin que les erreurs silencieuses cessent de se dissimuler. ✅