Измерение дрейфа с помощью PSI и KS
Количественно оценивайте сдвиг распределения каждого признака
«Измерение дрейфа с помощью PSI и KS» — бесплатный урок MLOps Academy на CoddyKit. Это урок 2 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения MLOps Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс MLOps Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
From Hunch to Number
Saying a feature feels different is not enough. You need a number that says how much its distribution moved. Two trusted tools are PSI and the KS test. 📏
What PSI Measures
The Population Stability Index compares a feature now against training, bin by bin. The bigger the gap in each bin, the higher the score.
Reading PSI Values
A common rule of thumb: PSI below 0.1 means stable, 0.1 to 0.25 means moderate shift, and above 0.25 means significant drift worth acting on.
How PSI Is Computed
For each bin, PSI takes the percent difference times the log ratio of the two percentages, then sums across all bins into one score.
import numpy as np
def psi(expected, actual):
return np.sum((actual - expected) * np.log(actual / expected))Binning Comes First
PSI needs both samples placed into the same bins, often deciles of the training data. Same edges for both sides keep the comparison fair.
edges = np.quantile(reference, np.linspace(0, 1, 11))
exp = np.histogram(reference, edges)[0] / len(reference)
act = np.histogram(current, edges)[0] / len(current)What the KS Test Measures
The Kolmogorov-Smirnov test finds the largest gap between two cumulative distributions. That maximum distance is the KS statistic.
KS in One Line
SciPy gives you the KS test directly. A small p-value means the two samples likely come from different distributions, hinting at drift.
from scipy.stats import ks_2samp
stat, pvalue = ks_2samp(reference, current)
drifted = pvalue < 0.05PSI vs KS
PSI gives a single severity score great for dashboards. KS gives a statistical p-value great for yes-or-no decisions. Many teams track both side by side.
Categorical Features
PSI works naturally on categories, treating each value as its own bin. KS assumes ordered numbers, so reach for chi-square on categorical features instead.
Watch the Sample Size
With huge samples the KS test flags tiny, harmless shifts as significant. Pair its p-value with an effect size like PSI before you raise an alarm.
Per-Feature, Then Roll Up
Run these tests per feature, then summarize. A handy signal is the share of features that drifted, which tells you if the shift is broad or narrow. 📊
Quick Check
Pick the right read on these numbers.
Recap
You turned drift into numbers: PSI scores severity with bins, KS measures the biggest distribution gap. Use both, mind sample size, and pick the right test per feature type. 🎯
Часто задаваемые вопросы
Урок «Измерение дрейфа с помощью PSI и KS» бесплатный?
Да — полный текст урока «Измерение дрейфа с помощью PSI и KS» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс MLOps Academy, подпишись на CoddyKit PRO. Курс MLOps Academy содержит 4 уроков всего.
Чему я научусь в уроке «Измерение дрейфа с помощью PSI и KS»?
Количественно оценивайте сдвиг распределения каждого признака Ты практикуешь MLOps Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать MLOps Academy?
Предыдущий опыт не требуется. MLOps Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 2 из 4.
Сколько времени занимает урок «Измерение дрейфа с помощью PSI и KS»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке MLOps Academy?
Да. Каждый урок MLOps Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Дрейф данных и дрейф концепции
- Измерение дрейфа с помощью PSI и KS
- Создание отчётов о дрейфе с помощью Evidently
- Настройка порогов и триггеров дрейфа