Normalizacja danych

Normalizacja danych zapewnia, że wszystkie cechy w zbiorze danych mają podobne skale. Ma to kluczowe znaczenie dla algorytmów takich jak metoda spadku gradientu i modeli opartych na odległości. W tej lekcji omówimy techniki standaryzacji i skalowania.

Dlaczego normalizować dane?

Normalizacja zapewnia równy udział wszystkich cech w modelu. Bez normalizacji cechy o większych skalach mogą zdominować proces uczenia.

Przykład:

• Wiek (0–100) i dochód (0–100 000) należy przeskalować do porównywalnych zakresów.

Standaryzacja

Standaryzacja przekształca dane tak, aby miały średnią równą 0 i odchylenie standardowe równe 1. Oblicza się ją według wzoru:

z = (x - mean) / std_dev

Standaryzacja sprawdza się idealnie w przypadku algorytmów takich jak regresja logistyczna i SVM.

Skalowanie min-max

Skalowanie min-max przekształca dane do stałego zakresu, zazwyczaj [0, 1]. Oblicza się je według wzoru:

x_scaled = (x - min) / (max - min)

Tej techniki używa się, gdy dane muszą mieścić się w określonych granicach.

Normalizacja w Pythonie (standaryzacja)

Do standaryzacji danych należy użyć StandardScaler z modułu sklearn.preprocessing.

Przykład:

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

Normalizacja w Pythonie (skalowanie min-maks)

Do zastosowania skalowania min-maks należy użyć MinMaxScaler z modułu sklearn.preprocessing.

Przykład:

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

Wybór techniki normalizacji

Podczas wyboru techniki należy wziąć pod uwagę następujące kwestie:

• Standaryzacja: Należy jej użyć, gdy dane zawierają wartości odstające.
• Skalowanie min-maks: Należy go użyć, gdy wartości cech powinny mieścić się w określonym zakresie.

Podsumowanie

W tej lekcji omówiono:

• Standaryzację: Skalowanie danych tak, aby średnia wynosiła 0, a odchylenie standardowe 1.
• Skalowanie min-maks: Przekształcanie danych do ustalonego zakresu.
• Korzystanie z StandardScaler i MinMaxScaler w Pythonie.

Gratulacje!

Ukończono lekcję dotyczącą normalizacji danych. Przejdź do następnej lekcji, aby poznać łączenie danych w Pythonie.