Daten für KI vorbereiten

Stellen Sie sich vor, Sie kochen eine köstliche Mahlzeit. Sie würden doch keine verdorbenen Zutaten verwenden, oder?

Für KI gilt dasselbe! Datenaufbereitung bezeichnet den Prozess, Rohdaten zu bereinigen und in ein sauberes, für KI-Modelle nutzbares Format umzuwandeln.

Dies ist ein entscheidender Schritt, da die Qualität Ihrer Daten die Leistung und Genauigkeit Ihrer KI direkt beeinflusst.

Rohdaten liegen nur selten in perfektem Zustand vor. Häufig enthalten sie Probleme, die KI-Modelle in die Irre führen können.

• Fehlende Werte: Lücken an Stellen, an denen Daten vorhanden sein sollten.
• Inkonsistenzen: Unterschiedliche Formate für dieselbe Information.
• Duplikate: Wiederholte Einträge.
• Ausreißer: Extremwerte, die Ergebnisse verzerren können.

Diese Probleme zu erkennen, ist der erste Schritt.

Fehlende Werte können Fehler oder verzerrte Ergebnisse verursachen. Hier sind gängige Strategien:

• Löschen: Entfernen Sie Zeilen oder Spalten mit zu vielen fehlenden Daten (mit Vorsicht anwenden!).
• Imputation: Ergänzen Sie fehlende Werte. Sie können dafür den Mittelwert, Median oder Modus der Spalte verwenden.
• Vorhersage: Verwenden Sie andere Merkmale, um fehlende Werte vorherzusagen und zu ergänzen (fortgeschrittener).

Die beste Methode hängt von Ihren Daten und der KI-Aufgabe ab.

Doppelte Einträge bedeuten, dass dieselbe Information mehrfach erfasst wurde. Dadurch kann Ihr Datensatz aufgebläht und Ihr Modell verzerrt werden.

Beispielsweise könnte ein Kunde zweimal in einer Liste der „neuen Anmeldungen“ erscheinen.

Die Lösung ist unkompliziert: Erkennen und entfernen Sie diese überflüssigen Zeilen. Die meisten Datenwerkzeuge verfügen dafür über integrierte Funktionen.

Inkonsistenzen entstehen, wenn dieselben Daten unterschiedlich dargestellt werden. Denken Sie an „USA“, „U.S.A.“ und „United States“, die alle dasselbe Land bezeichnen.

Das gilt auch für Datumsformate (z. B. „10/01/2023“ gegenüber „Jan 10, 2023“) oder Einheiten (z. B. „kg“ gegenüber „lbs“).

Durch die Standardisierung kann Ihr KI-Modell die Daten korrekt interpretieren.

Einige KI-Algorithmen, etwa K-Nearest Neighbors, reagieren empfindlich auf die Größenordnung numerischer Merkmale. Ein Merkmal mit Werten von 1 bis 1000 könnte ein Merkmal mit Werten von 0 bis 1 dominieren.

• Normalisierung: Skaliert Werte auf einen festen Bereich, normalerweise von 0 bis 1.
• Standardisierung: Transformiert Daten so, dass ihr Mittelwert 0 und ihre Standardabweichung 1 beträgt.

So wird verhindert, dass Merkmale mit größeren Werten das Modell überproportional beeinflussen.

KI-Modelle arbeiten am besten mit Zahlen. Kategorische Daten (etwa „Rot“, „Grün“, „Blau“ oder „Klein“, „Mittel“, „Groß“) müssen umgewandelt werden.

• One-Hot-Encoding: Erstellt für jede Kategorie neue binäre Spalten (0 oder 1). Z. B. „Color_Red“, „Color_Green“.
• Label-Encoding: Weist jeder Kategorie eine eindeutige Ganzzahl zu. Z. B. Red=0, Green=1, Blue=2. Verwenden Sie dies mit Bedacht, da dadurch eine Reihenfolge impliziert wird.

Manchmal reichen die Rohmerkmale nicht aus. Feature Engineering ist die Kunst, aus vorhandenen Merkmalen neue zu erstellen, um die Modellleistung zu verbessern.

Beispiele:

• 'height' und 'weight' kombinieren, um 'BMI' zu erstellen.
• 'month' oder 'day of week' aus einer 'date'-Spalte extrahieren.
• Aus einer 'age'-Spalte eine 'age group' erstellen.

So kann das Modell Muster leichter erkennen.

Bevor Sie Ihr KI-Modell trainieren, müssen Sie Ihre vorbereiteten Daten in verschiedene Datensätze aufteilen:

• Trainingsdatensatz: Wird verwendet, um das Modell zu trainieren.
• Validierungsdatensatz: Wird verwendet, um die Hyperparameter des Modells abzustimmen und während der Entwicklung Overfitting zu verhindern.
• Testdatensatz: Ein vollständig unbekannter Datensatz, der zur abschließenden Bewertung der Modellleistung verwendet wird.

So stellen Sie sicher, dass Ihr Modell gut auf neue Daten aus der realen Welt generalisiert.

Sie haben verschiedene Schritte der Datenvorbereitung kennengelernt. Testen Sie nun Ihr Verständnis.

Sehr gut! In dieser Lektion haben Sie sich mit dem wichtigen Prozess der Datenvorbereitung beschäftigt.

Sie haben Folgendes gelernt:

• Daten bereinigen (fehlende Werte, Duplikate, Inkonsistenzen).
• Daten transformieren (Feature Scaling, Kodierung kategorialer Daten).
• Grundlagen des Feature Engineerings.
• Die Bedeutung der Aufteilung von Daten für die Modellbewertung.

Hochwertige Daten bilden das Fundament leistungsfähiger KI. Üben Sie diese Fähigkeiten weiter!