PCA как предварительная обработка: ускорение и снижение шума в конвейерах

Помимо визуализации, PCA служит практическим этапом предварительной обработки, который передаёт сжатые признаки последующему классификатору или регрессору. Отбрасывая компоненты с малой дисперсией, которые часто кодируют шум, PCA может ускорить обучение, снизить потребление памяти и иногда улучшить обобщающую способность модели — особенно если исходное пространство признаков имеет очень большую размерность.

Случайный шум измерений обычно распределяется по множеству направлений в пространстве признаков, но его дисперсия в каждом отдельном направлении мала. PCA концентрирует значимый сигнал в первых компонентах, а шум оставляет в хвосте компонентов с малой дисперсией. Отбрасывая этот хвост, Вы фактически очищаете данные от шума. Поэтому предварительная обработка с помощью PCA иногда помогает алгоритмам, например логистической регрессии, чувствительным к коррелированным или зашумлённым признакам.

Самый аккуратный способ использовать PCA для предварительной обработки — поместить его внутрь Pipeline. Конвейер гарантирует, что масштабировщик и PCA обучаются только на обучающих данных, а затем одинаково применяются к тестовым данным. Это устраняет целый класс ошибок утечки данных, возникающих, когда забывают применить такое же преобразование PCA к тестовой выборке.

На наборах данных с большой размерностью PCA может значительно сократить время обучения, поскольку классификатор получает намного меньше признаков. Давайте сравним время работы логистической регрессии на наборе данных с цифрами (64 признака) с предварительным уменьшением размерности с помощью PCA и без него.

Предварительная обработка с помощью PCA особенно полезна, когда: число признаков велико по сравнению с числом объектов (много признаков и мало объектов), признаки коррелируют (содержат избыточную информацию) или алгоритм работает медленно с большим числом признаков (например, SVM с ядром RBF). PCA, как правило, НЕ помогает, когда набор данных уже содержит мало информативных признаков или Вы используете модели на основе деревьев (случайный лес, XGBoost), которые сами обрабатывают избыточные признаки и не получают преимуществ от линейного сжатия PCA.

Поскольку PCA является этапом внутри конвейера, Вы можете настраивать n_components одновременно с гиперпараметрами классификатора с помощью GridSearchCV. Используйте обозначение с двойным подчёркиванием pca__n_components, чтобы обратиться к параметру этапа PCA. Благодаря этому цикл перекрёстной проверки сможет одновременно найти оптимальный уровень сжатия и силу регуляризации модели.

SVM с ядрами RBF вычисляет попарные расстояния в исходном пространстве признаков, что дорого для данных с большой размерностью. Сначала применяя PCA, Вы уменьшаете размерность, сохраняя значимый сигнал, и сокращаете объём вычислений расстояний. До широкого распространения глубокого обучения это было стандартным подходом в задачах классификации изображений: уменьшить число пикселей изображения с помощью PCA, а затем классифицировать его с помощью SVM.

Давайте добавим гауссов шум к набору данных с цифрами и сравним точность классификатора с очисткой от шума с помощью PCA и без неё. На зашумлённых данных PCA часто повышает точность, отбрасывая компоненты с малой дисперсией, в которых преобладает шум.

Критически важное правило: никогда не обучайте преобразование PCA на тестовой выборке. Обучение на тестовых данных приводит к утечке статистик тестовой выборки в предварительную обработку и даёт чрезмерно оптимистичные оценки качества. Использование конвейера автоматически обеспечивает соблюдение этого правила: когда Вы вызываете pipeline.fit(X_train, y_train), каждый этап, включая PCA, обучается только на обучающей части.

В наборах данных с миллионами объектов и тысячами признаков (например, в текстовых матрицах TF-IDF и геномных данных) PCA значительно уменьшает объём занимаемой памяти. Матрица размером 1M×5000 с типом float32 занимает 20 ГБ; после уменьшения до 100 компонент с помощью PCA матрица размером 1M×100 занимает 400 МБ — это сокращение в 50 раз. В таких случаях используйте IncrementalPCA из scikit-learn: он обучает PCA по частям и никогда не загружает всю матрицу в RAM.

В наборах данных со смешанными типами Вы можете применять PCA только к числовым столбцам, отдельно кодировать категориальные столбцы, а затем объединить результаты с помощью ColumnTransformer. Это продвинутый, но реалистичный шаблон для рабочих конвейеров машинного обучения, где в одной строке одновременно присутствуют признаки изображений, числовые измерения и категориальные признаки.

В этом уроке Вы узнали, что PCA внутри Pipeline предотвращает утечку данных, обучая преобразование только на обучающих данных; PCA может ускорить обучение и уменьшить шум, особенно при большой размерности или коррелированных наборах признаков; а n_components можно настраивать с помощью GridSearchCV одновременно с другими гиперпараметрами модели, используя обозначение с двойным подчёркиванием. Далее мы создадим первый полноценный конвейер scikit-learn, объединяющий масштабировщик и классификатор.