Normalizacja danych

Normalizacja danych zapewnia, że wszystkie cechy w zbiorze danych mają podobne skale. Ma to kluczowe znaczenie dla algorytmów takich jak spadek gradientowy i modeli opartych na odległości. W tej lekcji poznają Państwo techniki standaryzacji i skalowania.

Dlaczego normalizować dane?

Normalizacja zapewnia równy udział wszystkich cech w modelu. Bez normalizacji cechy o większych zakresach mogą zdominować proces uczenia.

Przykład:

• Wiek (0–100) i dochód (0–100 000) należy przeskalować do porównywalnych zakresów.

Standaryzacja

Standaryzacja przekształca dane tak, aby ich średnia wynosiła 0, a odchylenie standardowe 1. Oblicza się ją następująco:

z = (x - mean) / std_dev

Standaryzacja sprawdza się doskonale w przypadku algorytmów takich jak regresja logistyczna i SVM.

Skalowanie min–maks

Skalowanie min–maks przekształca dane do stałego zakresu, zazwyczaj [0, 1]. Oblicza się je następująco:

x_scaled = (x - min) / (max - min)

Tej techniki używa się, gdy dane muszą mieścić się w ograniczonym zakresie.

Normalizacja w języku Python (standaryzacja)

Użyj klasy StandardScaler z modułu sklearn.preprocessing, aby przeprowadzić standaryzację danych.

Przykład:

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

Normalizacja w języku Python (skalowanie min–maks)

Użyj klasy MinMaxScaler z modułu sklearn.preprocessing, aby zastosować skalowanie min–maks.

Przykład:

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

Wybór techniki normalizacji

Przy wyborze techniki należy wziąć pod uwagę następujące kwestie:

• Standaryzacja: Stosuje się ją, gdy dane zawierają wartości odstające.
• Skalowanie min–maks: Stosuje się je, gdy cechy muszą mieścić się w ograniczonym zakresie.

Podsumowanie

W tej lekcji nauczyli się Państwo:

• Standaryzacja: Skalowanie danych tak, aby średnia wynosiła 0, a odchylenie standardowe 1.
• Skalowanie min–max: Przekształcanie danych do ustalonego zakresu.
• Jak używać w języku Python obiektów StandardScaler i MinMaxScaler.

Gratulacje!

Ukończyli Państwo lekcję dotyczącą normalizacji danych. Proszę przejść do następnej lekcji, aby poznać łączenie danych w języku Python.