Сдвиги и признаки запаздывания

В анализе временных рядов значение на предыдущем временном шаге (запаздывание) часто является одним из лучших предикторов текущего значения. Например, вчерашние продажи помогают предсказать сегодняшние. Создание столбцов с запаздыванием позволяет использовать исторические значения как признаки в моделях машинного обучения или при статистическом анализе автокорреляции. Pandas предоставляет shift() для создания таких признаков одним векторизованным вызовом.

Series.shift(n) перемещает все значения вниз на n позиций (положительное n создаёт запаздывание), заполняя первые n строк значением NaN. Передача отрицательного n перемещает значения вверх (создаёт опережение, сдвигая будущие значения назад к текущей строке). Индекс остаётся неизменным — перемещаются только значения.

Для машинного обучения обычно создают сразу несколько признаков с запаздыванием — сдвиг на 1, на 7 (тот же день на прошлой неделе) и на 30 (тот же день в прошлом месяце). Наиболее понятный способ — создать их в цикле и присвоить каждый новому столбцу. В результирующем DataFrame исходный ряд дополнен всеми его версиями со сдвигом и готов к построению моделей.

Вместо сдвига на целое число строк можно сдвигать данные на временное смещение с помощью параметра freq. df.shift(1, freq='ME') сдвигает индекс вперёд на один конец месяца, оставляя значения на месте, но изменяя индекс. Это удобно для выравнивания двух временных рядов, смещённых на фиксированный период, без перестановки значений.

Series.diff(n) вычисляет разность между значением и значением, расположенным на n позиций раньше: x[t] - x[t-n]. Это часто используют для вычисления изменений день к дню, различий неделя к неделе или изменений год к году. Первые n строк содержат NaN, поскольку предыдущих значений, из которых можно было бы вычесть текущие, нет.

Series.pct_change(n) вычисляет относительное процентное изменение: (x[t] - x[t-n]) / x[t-n]. Это необходимо для финансового анализа (дневная доходность), вычисления темпов роста и любых ситуаций, в которых относительное изменение важнее абсолютного. Умножьте результат на 100, чтобы получить процентные пункты.

Вы можете объединять shift() с арифметическими операциями для вычисления производных признаков времени. Например, можно получить отношение сегодняшнего значения к значению прошлой недели, накопительную сумму с фиксированного начала или разность с прошлогодним значением. Все эти операции следуют одному шаблону: сдвиньте исходный ряд и выполните поэлементную арифметику с текущими значениями.

Series.cumsum() вычисляет текущую сумму от первой строки до каждой строки, а Series.cumprod() — накопительное произведение. Это удобно для накопительной выручки, накопительной доходности (сложного роста) и итогов с начала года. Аргументы не требуются; методы работают с любым числовым Series или столбцом DataFrame.

При подготовке временных рядов для машинного обучения стандартный этап создания признаков — построение матрицы лаговых признаков. Каждый столбец представляет целевую переменную на отдельном шаге в прошлом. После создания лагов удалите строки с NaN (они появляются в начале из-за отсутствия предыдущих данных) и разделите данные на обучающую и тестовую выборки без перемешивания, сохраняя временной порядок.

Если данные содержат несколько объектов (например, несколько товаров или регионов в одном DataFrame), необходимо вычислять сдвиги отдельно внутри группы каждого объекта. Используйте groupby().shift(), чтобы лаг для первой строки товара A был равен NaN, а не последнему значению товара B. Смешивание групп без этого шага — распространённая и трудно заметная ошибка утечки данных.

Положительное значение pct_change() означает, что текущее значение выше предыдущего; отрицательное — что оно ниже. Будьте внимательны к делению на ноль, если предыдущее значение равно нулю: результатом будет NaN или inf в зависимости от знака текущего значения. Используйте replace([float('inf'), float('-inf')], float('nan')), чтобы очистить бесконечные значения после вызова pct_change().

В этом уроке Вы узнали, что shift(n) создаёт лаговые признаки, сдвигая значения вниз на n позиций; diff(n) вычисляет абсолютное изменение между периодами; pct_change(n) вычисляет относительное процентное изменение; а при работе с несколькими группами необходимо использовать groupby().shift(), чтобы избежать утечки данных. Далее мы извлечём временные признаки с помощью аксессора .dt.