Feature-Skalierung: StandardScaler und MinMaxScaler

Viele Algorithmen des maschinellen Lernens reagieren empfindlich auf die Skalierung der Eingabemerkmale. Wenn ein Merkmal Werte von 0 bis 1000 und ein anderes Werte von 0 bis 1 umfasst, werden distanzbasierte Modelle wie KNN und SVM vom Merkmal mit der größeren Skala dominiert. Auch Algorithmen des Gradientenabstiegs konvergieren deutlich schneller, wenn die Merkmale eine ähnliche Skala haben. Baumbasierte Modelle wie Random Forests und XGBoost sind skalierungsinvariant und benötigen keine Skalierung, aber fast jeder andere Algorithmus profitiert davon.

StandardScaler transformiert jedes Merkmal so, dass es einen Mittelwert von null und eine Varianz von eins hat. Dazu wird die Formel z = (x - mean) / std angewendet. Dies wird als Standardisierung oder Z-Score-Normalisierung bezeichnet. Die resultierenden Werte sind um 0 zentriert und haben keinen festen Wertebereich. StandardScaler ist für die meisten Algorithmen die Standardwahl, darunter logistische Regression, SVMs und neuronale Netze, insbesondere wenn die Merkmalsverteilung näherungsweise gaußförmig ist.

Nach dem Aufruf von fit() speichert StandardScaler die Statistiken des Trainingsdatensatzes in scaler.mean_ und scaler.scale_ (Standardabweichung). Dieselben Statistiken werden verwendet, wenn Sie transform() auf neue Daten anwenden – das bedeutet, dass der Testsatz anhand der Parametern des Trainingsdatensatzes skaliert wird und nicht anhand seiner eigenen. Dieses Verhalten ist korrekt: In der Produktion erhalten Sie einzelne Stichproben nacheinander und müssen sie mit den während des Trainings berechneten Statistiken skalieren.

MinMaxScaler komprimiert jedes Merkmal mithilfe der Formel x_scaled = (x - x_min) / (x_max - x_min) auf einen festgelegten Wertebereich, typischerweise [0, 1]. Im Gegensatz zu StandardScaler erhält diese Methode die relative Form der Verteilung und eignet sich gut für nicht gaußförmige Daten. Sie reagiert empfindlich auf Ausreißer: Ein einzelner Extremwert kann alle anderen Werte in die Nähe von null oder eins drücken. MinMaxScaler wird häufig für neuronale Netze und Bildpixelwerte verwendet, die auf [0, 1] skaliert werden.

RobustScaler skaliert anhand des Medians und des Interquartilsabstands (IQR) statt anhand von Mittelwert und Standardabweichung. Da Median und IQR nicht durch Extremwerte beeinflusst werden, ist RobustScaler die bessere Wahl, wenn Ihre Daten erhebliche Ausreißer enthalten. Die Formel lautet: x_scaled = (x - median) / IQR. Verwenden Sie RobustScaler, wenn Sie Ausreißer nicht entfernen können und ihren Einfluss auf die an Ihr Modell übergebenen skalierten Werte möglichst gering halten möchten.

Hier ist eine kurze Entscheidungshilfe: Verwenden Sie StandardScaler, wenn Ihre Daten ungefähr gaußförmig verteilt sind und keine extremen Ausreißer enthalten – er ist die sicherste Standardwahl. Verwenden Sie MinMaxScaler, wenn Sie Werte in einem festen Bereich benötigen, etwa für Bilddaten oder Algorithmen, die Eingaben im Bereich [0, 1] erfordern. Verwenden Sie RobustScaler, wenn Ausreißer vorhanden und aussagekräftig sind, beispielsweise Finanzdaten mit Betrugsspitzen. Für baumbasierte Modelle (Random Forest, XGBoost, LightGBM) sollten Sie vollständig auf die Skalierung verzichten – sie bietet keinen Vorteil und erhöht lediglich die unnötige Komplexität.

Ein häufiger Fehler besteht darin, fit_transform() auf den Testsatz anzuwenden, wodurch ein neuer Mittelwert und eine neue Standardabweichung aus den Testdaten berechnet werden. Dies ist eine Form von Data Leakage, da der Scaler von den Werten des Testsatzes beeinflusst wird. Das korrekte Vorgehen lautet: fit(X_train) → transform(X_train) → transform(X_test). Selbst eine geringfügige Genauigkeitssteigerung durch dieses Leakage kann zu übermäßig selbstsicheren Produktiveinsätzen führen, die bei tatsächlich unbekannten Daten scheitern.

Der sauberste Weg, Skalierungs-Leakage zu vermeiden, besteht darin, den Scaler in eine scikit-learn-Pipeline einzubetten. Wenn die Pipeline mit cross_val_score oder GridSearchCV angepasst wird, passt jeder Fold den Scaler ausschließlich an den Trainingsanteil dieses Folds an. Der Test-Fold wird während der Anpassung niemals verwendet. Dies ist das produktionsreife Vorgehen: Vorverarbeitungs- und Modellierungsschritte werden gebündelt, sodass sich das Deployment auf den Aufruf von pipeline.predict(X_new) beschränkt.

Nach der Erstellung von Vorhersagen müssen Sie diese möglicherweise wieder in die ursprüngliche Skala umwandeln – beispielsweise muss ein Hauspreismodell, das mit logarithmisch skalierten Preisen trainiert wurde, Preise in Euro ausgeben. Sowohl StandardScaler als auch MinMaxScaler stellen inverse_transform() bereit, um die Skalierung rückgängig zu machen. Wenden Sie die inverse Transformation nur auf die Zielvariable an, wenn diese vor dem Training skaliert wurde. Merkmale müssen normalerweise nicht invers transformiert werden, da sie intern vom Modell verarbeitet werden.

Dünn besetzte Matrizen – wie sie bei der Textklassifikation mit TF-IDF-Vektoren häufig vorkommen – sollten nicht mit StandardScaler oder MinMaxScaler skaliert werden, da die Zentrierung die Dünnbesetztheit zerstört, indem die meisten Nullen in Werte ungleich null umgewandelt werden. Dadurch wird der Zweck der dünn besetzten Speicherung zunichtegemacht. MaxAbsScaler skaliert jedes Merkmal anhand seines maximalen Absolutwerts auf den Bereich [-1, 1], ohne es zu zentrieren, und erhält die Struktur der Dünnbesetztheit. Verwenden Sie bei dünn besetzten Merkmalsmatrizen aus Vektorisierern wie TfidfVectorizer immer MaxAbsScaler.

Um die praktische Wirkung der einzelnen Scaler zu sehen, vergleichen Sie ihre Ausgabeverteilungen direkt miteinander. Nach der Skalierung sollte die Ausgabe von StandardScaler ungefähr N(0,1) entsprechen, die Ausgabe von MinMaxScaler den Bereich [0,1] umfassen und die Ausgabe von RobustScaler einen Median von 0 sowie einen IQR von 1 aufweisen. Histogramme vor und nach der Skalierung bestätigen, dass die Transformation korrekt funktioniert hat. Eine gute Merkmalskalierung ist eine Voraussetzung für zuverlässiges Modelltraining und keine optionale Ergänzung.

In dieser Lektion haben Sie gelernt, warum die Skalierung von Merkmalen für distanzbasierte Algorithmen und Algorithmen des Gradientenabstiegs unverzichtbar ist, wie StandardScaler auf N(0,1) standardisiert, während MinMaxScaler auf [0,1] komprimiert, und warum Scaler ausschließlich anhand von Trainingsdaten angepasst werden dürfen, um Leakage zu verhindern. Als Nächstes beschäftigen wir uns mit der Kodierung kategorialer Variablen mithilfe von OrdinalEncoder und OneHotEncoder.