Interaktions- und polynomiale Features erstellen

Lineare Modelle erfassen nur geradlinige Zusammenhänge. Durch das Erstellen von Interaktionsmerkmalen und polynomialen Merkmalen ermöglichen Sie es einfachen Modellen, Kurven und kombinierte Effekte zwischen Variablen auszudrücken.

Eine Interaktion multipliziert zwei Merkmale, etwa area = length * width. Sie erfasst Effekte, die von beiden Eingaben gemeinsam abhängen und die keine der beiden Eingaben allein erklärt.

PolynomialFeatures erzeugt automatisch Potenzen und Produkte von Merkmalen bis zu einem gewählten degree. Grad 2 fügt Quadrate und paarweise Produkte hinzu.

Wenn Sie interaction_only=True setzen, bleiben Kreuzprodukte erhalten, während reine Potenzen wie x1^2 entfernt werden. Das ist nützlich, wenn Sie nur kombinierte Effekte und keine Krümmung abbilden möchten.

Hohe Grade erzeugen viele Merkmale und erhöhen das Risiko der Überanpassung. Bei 10 Eingaben entstehen bei Grad 3 Hunderte von Spalten. Halten Sie den Grad niedrig (2 oder 3) und kombinieren Sie dies mit Merkmalsauswahl oder Regularisierung.

Domänenwissen ist oft besser als reine Kombinationen. Von Hand erstellte Verhältnisse wie Preis pro Quadratmeter oder Klicks pro Impression bilden eine Bedeutung ab, die eine polynomiale Erweiterung nicht finden würde.

Binning wandelt eine kontinuierliche Variable in Kategorien um. pd.cut unterteilt eine Spalte in Intervalle und eignet sich, um nichtlineare Effekte zu erfassen oder Alter, Einkommen usw. zu gruppieren.

pd.qcut erstellt Bins mit ungefähr gleich vielen Einträgen (Quantilen). Das ist hilfreich bei einer schiefen Verteilung, wenn Sie ausgewogene Gruppen erhalten möchten.

Rechtsschiefe Merkmale wie Einkommen, Preise und Anzahlen beeinträchtigen viele Modelle. Eine Logarithmustransformation komprimiert große Werte und macht die Verteilung symmetrischer.

Die Quadratwurzel reduziert die Schiefe ebenfalls, aber sanfter als der Logarithmus, und eignet sich gut für Zähldaten. Wählen Sie die Transformation, die das Histogramm am stärksten symmetrisiert.

Kombinieren Sie verschiedene Ansätze: Wenden Sie auf schiefe Spalten eine Logarithmustransformation an, bilden Sie Bins, wenn Schwellenwerte wichtig sind, ergänzen Sie domänenspezifische Verhältnisse und verwenden Sie PolynomialFeatures für Interaktionen. Überprüfen Sie stets, ob die neuen Merkmale die kreuzvalidierten Scores tatsächlich verbessern.

Testen Sie Ihr Wissen über Feature Engineering.

Zusammenfassung: Entwickeln Sie Merkmale, um einfache Modelle zu unterstützen. PolynomialFeatures fügt mit degree und interaction_only Produkte und Potenzen hinzu (achten Sie auf die Merkmalsexplosion). Erstellen Sie anhand Ihres Domänenwissens manuelle Verhältnisse, bilden Sie Bins mit pd.cut/pd.qcut und beheben Sie Schiefe mit Logarithmus- oder Quadratwurzeltransformationen. Überprüfen Sie Verbesserungen stets durch Validierung.