Merkmalsextraktion aus Daten

Bei der Merkmalsextraktion werden Rohdaten in eine Reihe von Merkmalen umgewandelt, die von Machine-Learning-Modellen verwendet werden können. In dieser Lektion werden die Grundlagen des Feature Engineering und gängige Techniken zum Extrahieren nützlicher Merkmale aus Daten behandelt.

Was ist Merkmalsextraktion?

Die Merkmalsextraktion vereinfacht Rohdaten, indem sie die für die Analyse relevantesten Attribute identifiziert. Sie verringert die Komplexität der Daten und verbessert die Modellleistung.

Beispiel:

• Extrahieren von month und day aus einer date-Spalte.
• Berechnen der word count aus Textdaten.

Extrahieren von Merkmalen aus Datumsangaben

Mit Pandas können Sie neue Merkmale wie year, month oder day aus einer Datumsspalte ableiten.

Beispiel:

df['Year'] = pd.to_datetime(df['Date']).dt.year

Textbasierte Merkmale

Für Textdaten können Sie Merkmale wie die folgenden extrahieren:

• Wortanzahl: Gesamtzahl der Wörter.
• Zeichenanzahl: Gesamtzahl der Zeichen.
• Eindeutige Wörter: Anzahl der eindeutigen Wörter.

Beispiel:

df['WordCount'] = df['Text'].apply(lambda x: len(x.split()))

Kodierung kategorialer Merkmale

Wandeln Sie kategoriale Daten für die Analyse in eine numerische Form um. Zu den gängigen Techniken gehören:

• One-Hot-Encoding: Erstellt binäre Spalten für jede Kategorie.
• Label-Encoding: Weist jeder Kategorie eine eindeutige Zahl zu.

Beispiel:

from sklearn.preprocessing import OneHotEncoder encoder = OneHotEncoder() encoded = encoder.fit_transform(df[['Category']])

Skalierung von Merkmalen

Die Skalierung stellt sicher, dass alle Merkmale in einer ähnlichen Größenordnung liegen, was für viele Algorithmen des maschinellen Lernens entscheidend ist. Zu den Techniken gehören:

• Standardisierung: Skalieren von Daten auf einen Mittelwert von 0 und eine Standardabweichung von 1.
• Min-Max-Skalierung: Transformieren von Daten in den Wertebereich [0, 1].

Merkmalsauswahl

Bei der Merkmalsauswahl werden die wichtigsten Merkmale für das Modell ausgewählt. Zu den Techniken gehören:

• Korrelationsanalyse: Identifizieren stark korrelierter Merkmale.
• Rekursive Merkmalselimination (RFE): Iteratives Entfernen der am wenigsten signifikanten Merkmale.

Zusammenfassung

In dieser Lektion haben Sie Folgendes gelernt:

• Merkmalsextraktion: Umwandeln von Rohdaten in nützliche Merkmale.
• Techniken: Datumsmerkmale, textbasierte Merkmale und Kodierung kategorialer Daten.
• Skalierung von Merkmalen: Sicherstellen, dass Merkmale in ähnlichen Größenordnungen liegen.
• Merkmalsauswahl: Identifizieren der relevantesten Merkmale.

Glückwunsch!

Sie haben die Lektion zur Merkmalsextraktion aus Daten abgeschlossen. Fahren Sie mit der nächsten Kategorie fort, um tiefer in weiterführende Konzepte der künstlichen Intelligenz einzusteigen.