Mit fehlenden Daten umgehen

Fehlende Daten kommen in Datensätzen häufig vor und können die Analyse sowie die Modellleistung beeinträchtigen. In dieser Lektion betrachten wir Methoden, um fehlende Werte effektiv zu erkennen und zu behandeln.

Fehlende Daten erkennen

Sie können fehlende Daten in Python mit Pandas erkennen. Die Methode isnull() erkennt fehlende Werte in einem Datensatz.

Beispiel:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Fehlende Werte zählen

Die Methode isnull() kann mit sum() kombiniert werden, um die fehlenden Werte in jeder Spalte zu zählen.

Beispiel:

print(df.isnull().sum())

Fehlende Daten entfernen

Mit der Methode dropna() können Sie Zeilen oder Spalten mit fehlenden Daten entfernen.

Beispiel:

df_cleaned = df.dropna()

Fehlende Daten auffüllen

Verwenden Sie die Methode fillna(), um fehlende Werte durch bestimmte Werte wie den Mittelwert oder Median zu ersetzen.

Beispiel:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Vorwärts- und Rückwärtsauffüllen

Füllen Sie fehlende Werte mithilfe der Werte davor oder danach auf, indem Sie method='ffill' oder method='bfill' verwenden.

Beispiel:

df['Age'] = df['Age'].fillna(method='ffill')

Die richtige Methode auswählen

Berücksichtigen Sie beim Umgang mit fehlenden Daten den Datensatz und die Ziele der Analyse:

• Verwenden Sie dropna() für Zeilen mit vielen fehlenden Werten.
• Verwenden Sie fillna() mit dem Mittelwert oder Median für numerische Daten.
• Verwenden Sie das Vorwärts- oder Rückwärtsauffüllen für Zeitreihendaten.

Zusammenfassung

In dieser Lektion haben Sie gelernt:

• fehlende Werte mit isnull() zu erkennen.
• fehlende Werte mit sum() zu zählen.
• fehlende Daten durch Entfernen oder Auffüllen von Werten zu behandeln.
• die passende Methode auf Grundlage Ihres Datensatzes auszuwählen.

Glückwunsch!

Sie haben die Lektion zum Umgang mit fehlenden Daten abgeschlossen. Fahren Sie mit der nächsten Lektion fort, um mehr über Methoden zur Datennormalisierung zu erfahren.