Нормализация данных

Нормализация данных гарантирует, что все признаки в наборе данных имеют сопоставимые масштабы. Это особенно важно для таких алгоритмов, как градиентный спуск, и моделей на основе расстояний. В этом уроке мы рассмотрим методы стандартизации и масштабирования.

Зачем нормализовать данные?

Нормализация гарантирует, что все признаки вносят одинаковый вклад в модель. Без нормализации признаки с большими масштабами могут доминировать в процессе обучения.

Пример:

• Возраст (0–100) и доход (0–100 000) следует привести к сопоставимым диапазонам.

Стандартизация

Стандартизация преобразует данные так, чтобы их среднее значение равнялось 0, а стандартное отклонение — 1. Она рассчитывается следующим образом:

z = (x - mean) / std_dev

Стандартизация идеально подходит для таких алгоритмов, как логистическая регрессия и SVM.

Масштабирование по методу минимакса

Масштабирование по методу минимакса приводит данные к фиксированному диапазону, обычно [0, 1]. Оно рассчитывается следующим образом:

x_scaled = (x - min) / (max - min)

Этот метод используется, когда данные необходимо ограничить заданным диапазоном.

Нормализация в Пайтоне (стандартизация)

Используйте StandardScaler из sklearn.preprocessing, чтобы стандартизировать данные.

Пример:

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

Нормализация в Пайтоне (масштабирование по методу минимакса)

Используйте MinMaxScaler из sklearn.preprocessing, чтобы выполнить масштабирование по методу минимакса.

Пример:

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

Выбор метода нормализации

При выборе метода учитывайте следующее:

• Стандартизация: используйте, если данные содержат выбросы.
• Масштабирование по методу минимакса: используйте, если признаки необходимо ограничить заданным диапазоном.

Повторение

В этом уроке Вы узнали о следующем:

• Стандартизация: масштабирование данных так, чтобы среднее значение было равно 0, а стандартное отклонение — 1.
• Масштабирование по минимуму и максимуму: преобразование данных к фиксированному диапазону.
• Использование StandardScaler и MinMaxScaler в Python.

Поздравляем!

Вы завершили урок о нормализации данных. Переходите к следующему уроку, чтобы узнать об объединении данных в Пайтоне.