Observabilité et supervision des systèmes d’IA

Un modèle mis en production n'est pas une tâche terminée. Le trafic augmente brusquement, la latence s'accroît et le monde change, si bien que les données s'éloignent de celles de l'entraînement. L'observabilité vous indique si le système est sain et si le modèle reste précis, avant que les utilisateurs n'en subissent les conséquences.

L'observabilité de l'apprentissage automatique couvre deux niveaux :

• Opérationnel : latence, débit, erreurs et utilisation des ressources (comme pour tout service)
• Modèle : dérive des données, distribution des prédictions et exactitude au fil du temps (spécifique à l'apprentissage automatique)

Prometheus est le système de référence pour collecter des métriques chronologiques. Votre service expose un point d'accès aux métriques ; Prometheus le consulte à intervalles réguliers et stocke les valeurs pour les requêtes et les alertes.

Vous mesurez la latence d'inférence avec un histogramme Prometheus. Les histogrammes permettent de calculer des percentiles, la meilleure façon de résumer la latence, plutôt qu'une moyenne trompeuse.

Présentez la latence sous forme de percentiles. La P50 (médiane) représente l'expérience habituelle ; la P95 correspond à l'extrémité lente, dépassée par 5 % des requêtes. Surveiller la P95 permet de détecter des problèmes que la moyenne dissimule, car quelques requêtes lentes nuisent tout de même aux utilisateurs.

Grafana représente les métriques Prometheus dans des tableaux de bord en temps réel. Le tableau de bord d'un modèle affiche généralement le débit des requêtes, le taux d'erreur, la latence P50/P95 et la distribution des prédictions sur un seul écran, pour évaluer l'état du système en un coup d'œil.

La dérive des données se produit lorsque la distribution des données d’entrée en production s’éloigne de celle utilisée pour l’entraînement. Le modèle a été ajusté sur d’anciens schémas ; à mesure que les données d’entrée dérivent, sa précision diminue silencieusement, même si aucun code n’a changé.

L’indice de stabilité de la population (PSI) quantifie la dérive en comparant la distribution d’une caractéristique actuelle à celle observée lors de l’entraînement. Il répartit les deux distributions en intervalles, puis additionne un rapport logarithmique pondéré pour chaque intervalle.

Seuils conventionnels du PSI :

• PSI < 0.1 : aucune dérive significative
• de 0.1 à 0.2 : dérive modérée, à examiner
• PSI > 0.2 : dérive significative, le modèle doit probablement être réentraîné

Déclencher une alerte lorsque le PSI dépasse 0.2 est une pratique courante.

Le signal de surveillance le plus utile provient des résultats réels. Une boucle de rétroaction recueille les corrections des utilisateurs et les étiquettes de référence (par exemple : la recommandation a-t-elle été sélectionnée ? le signalement de fraude était-il correct ?), puis les réinjecte comme nouvelles données d’entraînement.

La détection de dérive et la boucle de rétroaction déclenchent ensemble le réentraînement : lorsque le PSI dépasse le seuil ou que la précision diminue sur de nouvelles étiquettes, la chaîne de traitement réentraîne le modèle sur des données récentes, puis le redéploie. Le modèle reste ainsi adapté à un monde en constante évolution.

Vous avez découvert l’observabilité et la surveillance des systèmes d’IA :

• Prometheus collecte les métriques ; exprimez la latence d’inférence avec P50/P95
• Les tableaux de bord Grafana permettent de visualiser l’état du système en un coup d’œil
• La dérive des données se mesure avec le PSI ; un PSI > 0.2 signifie qu’il faut réentraîner le modèle
• Une boucle de rétroaction transforme les corrections des utilisateurs en données de réentraînement