Modellleistung in der Produktion überwachen
Erkennung von Data Drift, Signale für Modellverschlechterung, Auslöser für erneutes Training, evidently-Bibliothek.
Modellleistung in der Produktion überwachen ist eine kostenlose Learn AI with Python-Lektion auf CoddyKit. Dies ist Lektion 4 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Learn AI with Python-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Learn AI with Python-Kurs umfasst insgesamt 4 Lektionen.
Warum in Produktion überwachen?
Ein Modell, das beim Start gute Ergebnisse erzielt hat, kann sich unbemerkt verschlechtern, wenn sich die Welt verändert. Monitoring erkennt diesen Drift frühzeitig, bevor dadurch Geschäftsmesswerte unbemerkt einbrechen, und zeigt Ihnen, wann ein erneutes Training erforderlich ist.
Data Drift im Vergleich zu Concept Drift
- Data Drift: Die Eingabeverteilung verändert sich (neue Kundenstruktur).
- Concept Drift: Die Beziehung zwischen Eingaben und Ziel verändert sich (andere Faktoren sagen die Abwanderung voraus).
Beides beeinträchtigt die Genauigkeit; durch Monitoring lassen sie sich auf unterschiedliche Weise erkennen.
PSI für Data Drift
Der Population Stability Index (PSI) vergleicht die Verteilung eines Features zum aktuellen Zeitpunkt mit einer Baseline. Teilen Sie beide Verteilungen in Bins auf und summieren Sie anschließend über alle Bins (now% - base%) * ln(now% / base%).
PSI-Werte interpretieren
Als Faustregel gilt: PSI < 0.1 keine signifikante Verschiebung, 0.1-0.25 moderate Verschiebung (untersuchen), > 0.25 starke Verschiebung (erneutes Training wahrscheinlich). PSI wird für jedes Feature berechnet.
import numpy as np
def psi(base, now, bins=10):
edges = np.percentile(base, np.linspace(0, 100, bins + 1))
b_pct = np.histogram(base, edges)[0] / len(base) + 1e-6
n_pct = np.histogram(now, edges)[0] / len(now) + 1e-6
return np.sum((n_pct - b_pct) * np.log(n_pct / b_pct))KS-Test für Verteilungen
Der Kolmogorov-Smirnov-Test (KS-Test) vergleicht zwei kontinuierliche Verteilungen. Ein kleiner p-Wert bedeutet, dass sich die Produktionsverteilung signifikant von der Trainingsverteilung unterscheidet, was auf Drift hindeutet.
from scipy.stats import ks_2samp
stat, pvalue = ks_2samp(train_feature, prod_feature)
if pvalue < 0.05:
print("Distribution drift detected")PSI im Vergleich zu KS
- PSI: eine einzelne, gut interpretierbare Zahl, ideal für Dashboards und Schwellenwerte.
- KS: ein statistischer Hypothesentest mit p-Wert, der für kontinuierliche Features strenger ist.
Viele Teams geben beide Werte nebeneinander aus.
Was ist Evidently?
Evidently ist eine Open-Source-Bibliothek, die Drift- und Qualitätsberichte automatisiert. Statt jede Metrik von Hand zu programmieren, stellen Sie vordefinierte Prüfungen zusammen und erhalten einen HTML/JSON-Bericht.
# pip install evidently
from evidently.report import Report
from evidently.metric_preset import DataDriftPresetEinen DataDriftPreset-Bericht erstellen
DataDriftPreset führt eine vollständige Suite von Drift-Tests für alle Spalten aus und vergleicht einen Referenzdatensatz (Trainingsdaten) mit den aktuellen Daten (Produktionsdaten).
report = Report(metrics=[DataDriftPreset()])
report.run(
reference_data=train_df,
current_data=prod_df
)
report.save_html("drift_report.html")Ergebnisse programmgesteuert extrahieren
Exportieren Sie den Bericht als dict, um ihn in eine Alarmierungslogik einzuspeisen. So kann das Monitoring zeitgesteuert und unbeaufsichtigt ausgeführt werden.
result = report.as_dict()
drift_share = result["metrics"][0]["result"]["dataset_drift"]
print("Dataset drift flag:", drift_share)Bei sinkender Genauigkeit alarmieren
Wenn Ihnen Ground-Truth-Labels vorliegen, überwachen Sie die Genauigkeit im laufenden Betrieb und lösen Sie einen Alarm aus, sobald sie unter einen Schwellenwert fällt. Das ist das direkteste Signal dafür, dass ein erneutes Training überfällig ist.
THRESHOLD = 0.85
if live_accuracy < THRESHOLD:
send_alert(f"Accuracy dropped to {live_accuracy:.2f}")Den Regelkreis schließen
Gutes Monitoring führt zu konkreten Maßnahmen: Drift erkennen -> alarmieren -> eine Pipeline zum erneuten Training auslösen (Ihr Makefile/Registry aus den vorherigen Lektionen) -> die neue Version bereitstellen. Monitoring ohne Reaktionsplan ist nur Rauschen.
Kurzer Test
Testen Sie Ihr Wissen über Monitoring.
Zusammenfassung
Sie haben Modelle in der Produktion überwacht: PSI und der KS-Test erkennen Data Drift, Evidently automatisiert Berichte über DataDriftPreset, und Sie lösen einen Alarm aus, wenn die Genauigkeit unter einen Schwellenwert fällt, und starten anschließend ein erneutes Training. Damit endet der MLOps-Kurs. Nächster Kurs: KI-Modelle mit FastAPI bereitstellen.
Häufig gestellte Fragen
Ist die Lektion „Modellleistung in der Produktion überwachen“ kostenlos?
Ja — der vollständige Text von „Modellleistung in der Produktion überwachen“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Learn AI with Python-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Learn AI with Python-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Modellleistung in der Produktion überwachen“?
Erkennung von Data Drift, Signale für Modellverschlechterung, Auslöser für erneutes Training, evidently-Bibliothek. Du übst Learn AI with Python mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Learn AI with Python zu starten?
Keine Vorkenntnisse erforderlich. Learn AI with Python auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 4 von 4.
Wie lange dauert die Lektion „Modellleistung in der Produktion überwachen“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Learn AI with Python-Lektion Code schreiben und ausführen?
Ja. Jede Learn AI with Python-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Experiment-Tracking mit MLflow
- Model Registry und Versionierung
- Reproduzierbare ML-Pipelines erstellen
- Modellleistung in der Produktion überwachen