Modèles d’architecture des systèmes d’IA

Un système d'IA en production est bien plus qu'un fichier de modèle. Il comprend des chaînes de traitement des données, des magasins de caractéristiques, une infrastructure de mise à disposition et de la supervision. Les schémas d'architecture sont des modèles éprouvés pour assembler ces éléments de manière fiable.

Les systèmes d'IA ont souvent besoin des deux :

• Traitement par lots pour obtenir des résultats précis et complets sur les données historiques
• Traitement en temps réel pour obtenir des résultats récents avec une faible latence sur les nouveaux événements

Concilier ces deux approches est un défi récurrent de conception.

L'architecture Lambda répond à ce besoin avec deux couches exécutées en parallèle : une couche de traitement par lots qui recalcule des vues exactes sur toutes les données, et une couche temps réel qui traite les données récentes avec une faible latence. Une couche de mise à disposition fusionne les deux pour répondre aux requêtes.

La couche de traitement par lots retraite périodiquement l'ensemble des données afin de produire des résultats de référence corrects, par exemple en recalculant les caractéristiques chaque nuit. Elle est précise, mais sa latence est élevée et elle ne peut donc pas refléter les événements des dernières secondes.

La couche temps réel traite les données en flux continu presque en temps réel afin de combler l'écart depuis la dernière exécution par lots. Elle sacrifie une partie de l'exactitude au profit de la fraîcheur, et ses résultats sont finalement remplacés par ceux de l'exécution par lots suivante.

Un magasin de caractéristiques est un système centralisé de gestion des caractéristiques d'apprentissage automatique. Il résout un problème essentiel : l'entraînement et la mise à disposition doivent utiliser les mêmes définitions de caractéristiques, sinon le modèle reçoit en production des données d'entrée différentes de celles sur lesquelles il a été entraîné (décalage entre l'entraînement et la mise à disposition).

Le magasin hors ligne contient de grandes quantités de valeurs historiques de caractéristiques, généralement sous forme de fichiers parquet dans un lac de données ou un entrepôt de données. Il sert à l'entraînement et au calcul des prédictions par lots, pour lesquels le débit compte davantage que la latence.

Le magasin en ligne contient les valeurs de caractéristiques les plus récentes dans une base de données à faible latence telle que Redis. Lors de la mise à disposition, le modèle y récupère les caractéristiques en quelques millisecondes, en utilisant les mêmes définitions que le magasin hors ligne.

Le magasin de caractéristiques garantit qu'une caractéristique calculée pour l'entraînement (hors ligne) correspond à celle lue lors de la mise à disposition (en ligne). Cette cohérence élimine une source majeure de bogues de production silencieux et constitue la valeur fondamentale du magasin de caractéristiques.

Avant de faire confiance à un nouveau modèle en production, exécutez-le en mode fantôme : il reçoit le trafic réel et produit des prédictions, mais celles-ci sont consignées dans les journaux et non présentées aux utilisateurs. Vous les comparez au modèle actuel sans aucun risque pour les utilisateurs.

Une fois que le mode fantôme a montré que le nouveau modèle est précis et stable sur le trafic réel, vous le promouvez, souvent au moyen d'un déploiement progressif sur un petit groupe. Le mode fantôme associé au déploiement progressif offre une transition sûre et par étapes entre un modèle entraîné et l'ensemble du trafic de production.

Vérifiez vos connaissances sur l'architecture.

Vous avez appris les schémas d'architecture des systèmes d'IA :

• Architecture Lambda : couche de traitement par lots (précise) et couche temps réel (récente)
• Magasin de caractéristiques : parquet hors ligne pour l'entraînement, Redis en ligne pour la mise à disposition, définitions cohérentes
• Le mode fantôme valide un nouveau modèle sur du trafic réel avant sa promotion