Inżynieria cech i wybór cech

Inżynieria cech i ich wybór to kluczowe etapy tworzenia skutecznych modeli uczenia maszynowego. Procesy te obejmują tworzenie nowych cech i wybieranie tych najbardziej istotnych w celu poprawy wydajności modelu.

W tej lekcji poznają Państwo techniki inżynierii cech i ich wyboru, które pozwalają zwiększyć trafność predykcji.

Czym jest inżynieria cech?

Inżynieria cech polega na tworzeniu nowych cech na podstawie surowych danych, aby zwiększyć skuteczność modeli uczenia maszynowego. Przykłady:

• Wyodrębnianie cech zależnych od czasu, takich jak dzień, miesiąc lub godzina, ze znaczników czasu.
• Łączenie wielu cech w jedną nową cechę.
• Skalowanie cech numerycznych w celu ujednolicenia ich zakresu.

Tworzenie nowych cech

Utworzymy nowe cechy na podstawie istniejących danych:

# Example: Creating new features
import pandas as pd

data = {'Timestamp': ['2025-01-01 12:00:00', '2025-01-02 15:30:00']}
df = pd.DataFrame(data)
df['Hour'] = pd.to_datetime(df['Timestamp']).dt.hour
df['Day'] = pd.to_datetime(df['Timestamp']).dt.day
print(df)

Skalowanie cech

Skalowanie zapewnia, że wszystkie cechy numeryczne mają tę samą skalę, co poprawia wydajność modelu:

# Example: Scaling features
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
values = [[10], [20], [30]]
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Wybór cech

Wybór cech polega na wybraniu cech najbardziej istotnych dla modelu. Typowe techniki obejmują:

• Metody filtrujące: Wybór cech na podstawie miar statystycznych, takich jak korelacja.
• Metody wrapperowe: Wykorzystanie algorytmów takich jak Recursive Feature Elimination (RFE).
• Metody wbudowane: Wybór cech podczas trenowania modelu, np. za pomocą regresji Lasso.

Wybór cech na podstawie korelacji

Wysoce skorelowane cechy mogą być redundantne. Do obliczania korelacji należy użyć Pandas:

# Example: Correlation-based feature selection
import pandas as pd

data = {'Feature1': [1, 2, 3], 'Feature2': [2, 4, 6], 'Feature3': [1, 1, 1]}
df = pd.DataFrame(data)
print(df.corr())

Rekurencyjna eliminacja cech (RFE)

RFE to metoda wrapperowa, która iteracyjnie usuwa najmniej istotne cechy:

# Example: RFE
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = LogisticRegression()
rfe = RFE(model, n_features_to_select=2)
rfe.fit(X, y)
print("Selected Features:", rfe.support_)

Ważność cech w modelach opartych na drzewach

Modele oparte na drzewach, takie jak Random Forests, udostępniają wyniki ważności cech:

# Example: Feature importance
from sklearn.ensemble import RandomForestClassifier

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = RandomForestClassifier()
model.fit(X, y)
print("Feature Importances:", model.feature_importances_)

Typowe błędy w inżynierii cech

Oto kilka błędów, których należy unikać:

• Tworzenie zbyt wielu cech, co może prowadzić do przeuczenia.
• Ignorowanie potrzeby skalowania w algorytmach opartych na odległości.
• Używanie wysoce skorelowanych cech, co powoduje redundancję.

Czego się nauczyliśmy?

W tej lekcji nauczyli się Państwo:

• Jak ważną rolę odgrywają inżynieria cech i ich wybór w uczeniu maszynowym.
• Technik tworzenia nowych cech i skalowania cech numerycznych.
• Jak wybierać istotne cechy za pomocą metod takich jak RFE i modeli opartych na drzewach.
• Typowych błędów, których należy unikać podczas inżynierii cech.

Świetnie! Przejdźmy do następnego tematu.