Feature Engineering und Feature-Auswahl

Feature Engineering und die Auswahl von Features sind entscheidende Schritte beim Erstellen effektiver Machine-Learning-Modelle. Diese Prozesse umfassen das Erstellen neuer Features und die Auswahl der relevantesten Features, um die Modellleistung zu verbessern.

In dieser Lektion lernen Sie Techniken für Feature Engineering und Feature-Auswahl kennen, mit denen Sie die Vorhersagegenauigkeit erhöhen.

Was ist Feature Engineering?

Beim Feature Engineering werden aus Rohdaten neue Features erstellt, um Machine-Learning-Modelle effektiver zu machen. Beispiele hierfür sind:

• Zeitbasierte Features wie Tag, Monat oder Stunde aus Zeitstempeln extrahieren.
• Mehrere Features zu einem neuen Feature kombinieren.
• Numerische Features skalieren, um ihren Wertebereich zu standardisieren.

Neue Features erstellen

Wir erstellen neue Features auf Grundlage vorhandener Daten:

# Example: Creating new features
import pandas as pd

data = {'Timestamp': ['2025-01-01 12:00:00', '2025-01-02 15:30:00']}
df = pd.DataFrame(data)
df['Hour'] = pd.to_datetime(df['Timestamp']).dt.hour
df['Day'] = pd.to_datetime(df['Timestamp']).dt.day
print(df)

Features skalieren

Durch die Skalierung liegen alle numerischen Features auf derselben Skala, wodurch sich die Modellleistung verbessert:

# Example: Scaling features
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
values = [[10], [20], [30]]
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Feature-Auswahl

Bei der Feature-Auswahl werden die relevantesten Features für das Modell ausgewählt. Zu den gängigen Techniken gehören:

• Filtermethoden: Features anhand statistischer Kennzahlen wie der Korrelation auswählen.
• Wrapper-Methoden: Algorithmen wie die Recursive Feature Elimination (RFE) verwenden.
• Embedded-Methoden: Features während des Modelltrainings auswählen, z. B. bei der Lasso-Regression.

Korrelationsbasierte Feature-Auswahl

Stark korrelierte Features können redundant sein. Verwenden Sie Pandas, um Korrelationen zu berechnen:

# Example: Correlation-based feature selection
import pandas as pd

data = {'Feature1': [1, 2, 3], 'Feature2': [2, 4, 6], 'Feature3': [1, 1, 1]}
df = pd.DataFrame(data)
print(df.corr())

Rekursive Feature-Eliminierung (RFE)

RFE ist eine Wrapper-Methode, die iterativ die unwichtigsten Features entfernt:

# Example: RFE
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = LogisticRegression()
rfe = RFE(model, n_features_to_select=2)
rfe.fit(X, y)
print("Selected Features:", rfe.support_)

Feature-Wichtigkeit mit baumbasierten Modellen

Baumbasierte Modelle wie Random Forests liefern Werte für die Wichtigkeit von Features:

# Example: Feature importance
from sklearn.ensemble import RandomForestClassifier

X = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
y = [0, 1, 0]
model = RandomForestClassifier()
model.fit(X, y)
print("Feature Importances:", model.feature_importances_)

Typische Fehler beim Feature Engineering

Hier sind einige Fehler, die Sie vermeiden sollten:

• Zu viele Features erstellen, was zu Overfitting führen kann.
• Den Bedarf an Skalierung bei distanzbasierten Algorithmen ignorieren.
• Stark korrelierte Features verwenden, wodurch Redundanz entsteht.

Was haben Sie gelernt?

In dieser Lektion haben Sie Folgendes gelernt:

• Die Bedeutung von Feature Engineering und Feature-Auswahl für das maschinelle Lernen.
• Techniken zum Erstellen neuer Features und zum Skalieren numerischer Features.
• Wie Sie mithilfe von Methoden wie RFE und baumbasierten Modellen relevante Features auswählen.
• Typische Fehler, die Sie beim Feature Engineering vermeiden sollten.

Sehr gut! Fahren Sie mit dem nächsten Thema fort.