Интерполяция и продвинутое заполнение

Заполнение вперёд и назад переносит ближайшее известное значение, не учитывая тренд данных. Интерполяция оценивает пропущенные значения, предполагая плавный переход между известными значениями — например, если в понедельник температура составляла 20 °C, а в пятницу — 30 °C, интерполяция оценит температуру в среду как 25 °C. Это даёт более реалистичные значения для плавно изменяющихся сигналов, таких как данные датчиков, цены или численность населения.

Pandas поддерживает несколько методов interpolate(). Наиболее распространены 'linear' (равные интервалы между известными значениями), 'time' (учитывает неравные промежутки времени, если задан DatetimeIndex), 'polynomial' (подбирает полиномиальную кривую и требует аргумент order) и 'spline' (гладкий кусочно-полиномиальный метод). Линейный метод — самый безопасный вариант по умолчанию; методы более высокого порядка могут переобучиться на небольших промежутках.

Если у Вашего Series есть DatetimeIndex с неравными промежутками времени (например, присутствуют только рабочие дни, а выходные пропущены), method='time' выполняет интерполяцию пропорционально фактически прошедшему времени, а не только по позиции. Это точнее линейной интерполяции, которая считает строки равноотстоящими независимо от разрыва в календаре.

Как и ffill(), interpolate() принимает параметр limit, ограничивающий количество подряд идущих позиций NaN для заполнения. Оставшиеся за пределом ограничения значения NaN сохраняются как пропуски. Это не позволяет интерполяции распространяться через очень длинные разрывы, где истинное значение может быть любым; такие разрывы следует помечать для ручной проверки.

Заполнение средним и медианой — простые методы, но у них есть важные компромиссы. Среднее чувствительно к выбросам: несколько очень больших значений повышают его, поэтому оно плохо подходит для правосторонне асимметричных распределений, например доходов или цен на дома. Медиана устойчива к выбросам и лучше подходит для асимметричных столбцов. Используйте среднее только тогда, когда данные примерно симметричны и не содержат экстремальных выбросов.

Заполнение методом ближайших соседей (KNN) заменяет пропущенное значение средним (или взвешенным средним) значением k наиболее похожих строк. Похожесть определяется расстоянием по непропущенным признакам. Это многомерная стратегия: она использует информацию из других столбцов, поэтому при коррелированных признаках работает точнее, чем заполнение средним только одного столбца.

KNNImputer из Scikit-learn напрямую работает с массивами NumPy и DataFrames Pandas.

Множественное заполнение считается эталонным методом обработки пропущенных данных в статистических исследованиях. IterativeImputer из Scikit-learn реализует подход MICE (множественное заполнение с помощью цепных уравнений): он моделирует каждый столбец с пропусками как функцию других столбцов и повторяет заполнение, пока значения не стабилизируются. Такой подход лучше учитывает связи между признаками, чем стратегии для отдельных столбцов.

Вместо того чтобы скрывать факт заполнения значения, рекомендуется добавить двоичный индикаторный столбец, отмечающий строки, в которых до заполнения были пропуски. Это позволяет последующим моделям учитывать саму закономерность пропусков: иногда факт отсутствия значения так же информативен, как и само значение.

Критически важное правило для конвейеров машинного обучения: вычисляйте статистики для заполнения (среднее, медиану, моду) только на обучающем наборе, а затем применяйте те же значения к тестовому набору. Вычисление статистик по всему набору до разделения вызывает утечку данных: модель косвенно видит тестовые данные во время обучения, из-за чего оценка качества становится завышенной. Всегда обучайте средства заполнения на обучающих данных, а затем преобразуйте и обучающий, и тестовый набор.

После применения нескольких методов заполнения сравните их влияние, построив рядом распределения исходных и заполненных столбцов. Хорошее заполнение должно как можно лучше сохранять форму исходного распределения (среднее, дисперсию, асимметрию). Заполнение средним сужает распределение, а KNN и MICE обычно сохраняют его лучше.

Универсально лучшей стратегии заполнения не существует — правильный выбор зависит от контекста. Используйте среднее или медиану в простых одномерных случаях при небольшом количестве пропусков. Используйте ffill/bfill для временных рядов со стабильными трендами. Выбирайте KNN или IterativeImputer, когда признаки коррелируют и необходимо использовать связи между ними. Используйте константы предметной области (например, 0 для отсутствующего значения или -1 для неизвестного), если пропуск имеет однозначный смысл с точки зрения задачи. Всегда документируйте свой выбор.

В этом уроке Вы узнали, что interpolate() оценивает пропущенные значения, предполагая плавный тренд между известными значениями, method='time' обрабатывает неравные промежутки DatetimeIndex, а продвинутые стратегии, такие как KNNImputer и IterativeImputer, используют другие столбцы для определения значений заполнения. Всегда добавляйте индикаторные столбцы до заполнения и вычисляйте статистики только на обучающем наборе, чтобы избежать утечки данных. Далее мы рассмотрим и преобразуем типы данных столбцов DataFrame.