Drift mit PSI und KS messen
Quantifizieren Sie die Verschiebung der Verteilung für jedes Feature.
Drift mit PSI und KS messen ist eine kostenlose MLOps Academy-Lektion auf CoddyKit. Dies ist Lektion 2 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des MLOps Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der MLOps Academy-Kurs umfasst insgesamt 4 Lektionen.
Vom Gefühl zur Zahl
Zu sagen, dass sich ein Feature anders anfühlt, reicht nicht aus. Sie benötigen eine Zahl, die angibt, wie stark sich seine Verteilung verändert hat. Zwei bewährte Werkzeuge sind PSI und der KS-Test. 📏
Was PSI misst
Der Population Stability Index vergleicht ein Feature aus den aktuellen Daten mit seinem Stand in den Trainingsdaten – für jedes Intervall einzeln. Je größer die Abweichung in den einzelnen Intervallen, desto höher der Wert.
PSI-Werte interpretieren
Eine gängige Faustregel: Ein PSI unter 0,1 bedeutet Stabilität, 0,1 bis 0,25 eine moderate Veränderung und ein Wert über 0,25 einen signifikanten Drift, auf den Sie reagieren sollten.
So wird PSI berechnet
Für jedes Intervall multipliziert PSI die prozentuale Differenz mit dem Logarithmus des Verhältnisses der beiden Prozentwerte und summiert anschließend alle Intervalle zu einem Wert.
import numpy as np
def psi(expected, actual):
return np.sum((actual - expected) * np.log(actual / expected))Zuerst die Intervalle bilden
PSI erfordert, dass beide Stichproben in dieselben Intervalle eingeordnet werden, häufig in Dezile der Trainingsdaten. Identische Intervallgrenzen auf beiden Seiten sorgen für einen fairen Vergleich.
edges = np.quantile(reference, np.linspace(0, 1, 11))
exp = np.histogram(reference, edges)[0] / len(reference)
act = np.histogram(current, edges)[0] / len(current)Was der KS-Test misst
Der Kolmogorov-Smirnov-Test ermittelt die größte Abweichung zwischen zwei kumulativen Verteilungen. Diese maximale Distanz ist die KS-Statistik.
KS in einem Satz
SciPy stellt den KS-Test direkt bereit. Ein kleiner p-Wert bedeutet, dass die beiden Stichproben wahrscheinlich aus unterschiedlichen Verteilungen stammen, was auf Drift hindeutet.
from scipy.stats import ks_2samp
stat, pvalue = ks_2samp(reference, current)
drifted = pvalue < 0.05PSI und KS im Vergleich
PSI liefert einen einzelnen Schweregradwert, der sich hervorragend für Dashboards eignet. Der KS-Test liefert einen statistischen p-Wert, der sich gut für Ja-nein-Entscheidungen eignet. Viele Teams verfolgen beide Werte nebeneinander.
Kategorische Features
PSI funktioniert für Kategorien ganz natürlich, indem jeder Wert als eigenes Intervall behandelt wird. Der KS-Test setzt geordnete Zahlen voraus; verwenden Sie für kategorische Features stattdessen den Chi-Quadrat-Test.
Achten Sie auf die Stichprobengröße
Bei sehr großen Stichproben erkennt der KS-Test winzige, harmlose Veränderungen als signifikant. Kombinieren Sie seinen p-Wert mit einer Effektgröße wie PSI, bevor Sie einen Alarm auslösen.
Pro Feature prüfen, dann zusammenfassen
Führen Sie diese Tests für jedes Feature einzeln aus und fassen Sie die Ergebnisse anschließend zusammen. Ein nützliches Signal ist der Anteil der Features mit Drift. Er zeigt, ob die Veränderung breit oder begrenzt ist. 📊
Kurztest
Wählen Sie die richtige Interpretation dieser Zahlen.
Zusammenfassung
Sie haben Drift in Zahlen übersetzt: PSI bewertet den Schweregrad anhand von Intervallen, während der KS-Test die größte Abweichung zwischen Verteilungen misst. Verwenden Sie beide, berücksichtigen Sie die Stichprobengröße und wählen Sie je nach Feature-Typ den passenden Test. 🎯
Lerne Python mit einem KI-Tutor — kostenlos
Schreibe und führe echten Code in deinem Browser aus, bekomme sofortige Hilfe von einem 24/7 KI-Tutor und setze dein Lernen im Web oder in der App fort.
- Kurse
- 30
- Lektionen
- 120
Häufig gestellte Fragen
Ist die Lektion „Drift mit PSI und KS messen“ kostenlos?
Ja — der vollständige Text von „Drift mit PSI und KS messen“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des MLOps Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der MLOps Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Drift mit PSI und KS messen“?
Quantifizieren Sie die Verschiebung der Verteilung für jedes Feature. Du übst MLOps Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um MLOps Academy zu starten?
Keine Vorkenntnisse erforderlich. MLOps Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 2 von 4.
Wie lange dauert die Lektion „Drift mit PSI und KS messen“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser MLOps Academy-Lektion Code schreiben und ausführen?
Ja. Jede MLOps Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Data Drift und Concept Drift
- Drift mit PSI und KS messen
- Drift-Berichte mit Evidently erstellen
- Drift-Schwellenwerte und Auslöser festlegen