Нормализация данных

Нормализация данных обеспечивает сопоставимый масштаб всех признаков в наборе данных. Это особенно важно для таких алгоритмов, как градиентный спуск, и моделей, основанных на расстояниях. На этом уроке мы рассмотрим методы стандартизации и масштабирования.

Зачем нормализовать данные?

Нормализация обеспечивает одинаковый вклад всех признаков в модель. Без нормализации признаки с большим масштабом могут доминировать в процессе обучения.

Пример:

• Возраст (0–100) и доход (0–100 000) следует привести к сопоставимым диапазонам.

Стандартизация

Стандартизация преобразует данные так, чтобы их среднее значение равнялось 0, а стандартное отклонение — 1. Она рассчитывается так:

z = (x - mean) / std_dev

Стандартизация идеально подходит для таких алгоритмов, как логистическая регрессия и SVM.

Масштабирование методом минимума и максимума

Масштабирование по минимуму и максимуму приводит данные к фиксированному диапазону, обычно [0, 1]. Оно рассчитывается так:

x_scaled = (x - min) / (max - min)

Этот метод используют, когда значения данных должны находиться в ограниченном диапазоне.

Нормализация в Python (стандартизация)

Используйте StandardScaler из sklearn.preprocessing, чтобы стандартизировать данные.

Пример:

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

Нормализация в Python (масштабирование по методу минимума и максимума)

Используйте MinMaxScaler из sklearn.preprocessing, чтобы применить масштабирование по методу минимума и максимума.

Пример:

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

Выбор метода нормализации

При выборе метода учитывайте следующее:

• Стандартизация: используйте, если данные содержат выбросы.
• Масштабирование по методу минимума и максимума: используйте, если значения признаков должны находиться в заданных пределах.

Повторение

В этом уроке Вы узнали о следующем:

• Стандартизация: масштабирование данных со средним значением 0 и стандартным отклонением 1.
• Масштабирование по методу минимума и максимума: преобразование данных к фиксированному диапазону.
• Использование StandardScaler и MinMaxScaler в Python.

Поздравляем!

Вы завершили урок о нормализации данных. Перейдите к следующему уроку, чтобы узнать об объединении данных в Python.