Architekturmuster für KI-Systeme

Ein produktives KI-System besteht aus weit mehr als einer Modelldatei. Dazu gehören Datenpipelines, Feature Stores, Infrastruktur für die Bereitstellung und Überwachung. Architekturmuster sind bewährte Vorlagen, mit denen sich diese Bestandteile zuverlässig zusammenfügen lassen.

KI-Systeme benötigen häufig beides:

• Batch-Verarbeitung für genaue, umfassende Ergebnisse auf historischen Daten
• Echtzeitverarbeitung für aktuelle Ergebnisse mit geringer Latenz bei neuen Ereignissen

Diese beiden Anforderungen miteinander zu vereinbaren, ist eine wiederkehrende Herausforderung beim Entwurf.

Die Lambda-Architektur löst dieses Problem mit zwei parallel ausgeführten Schichten: einer Batch-Schicht, die genaue Sichten über alle Daten neu berechnet, und einer Geschwindigkeitsschicht, die aktuelle Daten mit geringer Latenz verarbeitet. Eine Bereitstellungsschicht führt beide für Abfragen zusammen.

Die Batch-Schicht verarbeitet den vollständigen Datensatz regelmäßig neu, um maßgebliche und korrekte Ergebnisse zu erzeugen, beispielsweise bei der nächtlichen Neuberechnung von Features. Sie ist genau, weist jedoch eine hohe Latenz auf und kann daher Ereignisse aus den letzten Sekunden nicht berücksichtigen.

Die Geschwindigkeitsschicht verarbeitet Streaming-Daten nahezu in Echtzeit, um die Lücke seit der letzten Batch-Ausführung zu schließen. Dafür nimmt sie gewisse Einbußen bei der Genauigkeit zugunsten aktueller Ergebnisse in Kauf. Ihre Ergebnisse werden schließlich durch die nächste Batch-Ausführung ersetzt.

Ein Feature Store ist ein zentrales System zur Verwaltung von ML-Features. Er löst ein entscheidendes Problem: Training und Bereitstellung müssen dieselben Feature-Definitionen verwenden. Andernfalls erhält das Modell in der Produktion andere Eingaben als während des Trainings (Training-Serving-Skew).

Der Offline Store enthält große Mengen historischer Feature-Werte, typischerweise als parquet-Dateien in einem Data Lake oder Data Warehouse. Er unterstützt Training und Batch-Scoring, bei denen der Durchsatz wichtiger ist als die Latenz.

Der Online Store enthält die neuesten Feature-Werte in einer Datenbank mit geringer Latenz, beispielsweise Redis. Während der Bereitstellung ruft das Modell die Features hier innerhalb von Millisekunden ab und verwendet dabei dieselben Definitionen wie der Offline Store.

Der Feature Store stellt sicher, dass ein für das Training berechnetes Feature (offline) mit dem übereinstimmt, was bei der Bereitstellung gelesen wird (online). Diese Konsistenz beseitigt eine wichtige Quelle unbemerkter Fehler in der Produktion und ist der zentrale Nutzen eines Feature Stores.

Bevor Sie einem neuen Modell in der Produktion vertrauen, führen Sie es im Shadow-Modus aus: Es empfängt echten Datenverkehr und erstellt Vorhersagen, aber diese Vorhersagen werden protokolliert und nicht an Benutzer ausgeliefert. Sie können sie ohne jedes Risiko für Benutzer mit den Vorhersagen des aktuellen Modells vergleichen.

Wenn der Shadow-Modus zeigt, dass das neue Modell bei echtem Datenverkehr genau und stabil arbeitet, stellen Sie es bereit, häufig über einen Canary-Rollout. Shadow-Modus und Canary-Rollout bieten einen sicheren, schrittweisen Weg von einem trainierten Modell zum vollständigen Produktionsverkehr.

Testen Sie Ihr Wissen über Architekturen.

Sie haben Architekturmuster für KI-Systeme gelernt:

• Lambda-Architektur: Batch-Schicht (genau) plus Geschwindigkeitsschicht (aktuell)
• Feature Store: Offline-parquet für das Training, Online-Redis für die Bereitstellung, konsistente Definitionen
• Der Shadow-Modus validiert ein neues Modell anhand echten Datenverkehrs, bevor es bereitgestellt wird