Mesurer la dérive avec PSI et KS
Quantifiez le déplacement de la distribution pour chaque caractéristique.
Mesurer la dérive avec PSI et KS est une leçon MLOps Academy gratuite sur CoddyKit. Ceci est la leçon 2 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage MLOps Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours MLOps Academy comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
From Hunch to Number
Saying a feature feels different is not enough. You need a number that says how much its distribution moved. Two trusted tools are PSI and the KS test. 📏
What PSI Measures
The Population Stability Index compares a feature now against training, bin by bin. The bigger the gap in each bin, the higher the score.
Reading PSI Values
A common rule of thumb: PSI below 0.1 means stable, 0.1 to 0.25 means moderate shift, and above 0.25 means significant drift worth acting on.
How PSI Is Computed
For each bin, PSI takes the percent difference times the log ratio of the two percentages, then sums across all bins into one score.
import numpy as np
def psi(expected, actual):
return np.sum((actual - expected) * np.log(actual / expected))Binning Comes First
PSI needs both samples placed into the same bins, often deciles of the training data. Same edges for both sides keep the comparison fair.
edges = np.quantile(reference, np.linspace(0, 1, 11))
exp = np.histogram(reference, edges)[0] / len(reference)
act = np.histogram(current, edges)[0] / len(current)What the KS Test Measures
The Kolmogorov-Smirnov test finds the largest gap between two cumulative distributions. That maximum distance is the KS statistic.
KS in One Line
SciPy gives you the KS test directly. A small p-value means the two samples likely come from different distributions, hinting at drift.
from scipy.stats import ks_2samp
stat, pvalue = ks_2samp(reference, current)
drifted = pvalue < 0.05PSI vs KS
PSI gives a single severity score great for dashboards. KS gives a statistical p-value great for yes-or-no decisions. Many teams track both side by side.
Categorical Features
PSI works naturally on categories, treating each value as its own bin. KS assumes ordered numbers, so reach for chi-square on categorical features instead.
Watch the Sample Size
With huge samples the KS test flags tiny, harmless shifts as significant. Pair its p-value with an effect size like PSI before you raise an alarm.
Per-Feature, Then Roll Up
Run these tests per feature, then summarize. A handy signal is the share of features that drifted, which tells you if the shift is broad or narrow. 📊
Quick Check
Pick the right read on these numbers.
Recap
You turned drift into numbers: PSI scores severity with bins, KS measures the biggest distribution gap. Use both, mind sample size, and pick the right test per feature type. 🎯
Questions Fréquemment Posées
La leçon « Mesurer la dérive avec PSI et KS » est-elle gratuite ?
Oui — le texte complet de « Mesurer la dérive avec PSI et KS » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours MLOps Academy, passe à CoddyKit PRO. Le cours MLOps Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Mesurer la dérive avec PSI et KS » ?
Quantifiez le déplacement de la distribution pour chaque caractéristique. Tu pratiques MLOps Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer MLOps Academy ?
Aucune expérience préalable n'est requise. MLOps Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 2 sur 4.
Combien de temps prend la leçon « Mesurer la dérive avec PSI et KS » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon MLOps Academy ?
Oui. Chaque leçon MLOps Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Dérive des données ou dérive du concept
- Mesurer la dérive avec PSI et KS
- Générer des rapports de dérive avec Evidently
- Définir les seuils et déclencheurs de dérive