Umgang mit fehlenden Daten

Fehlende Daten kommen in Datensätzen häufig vor und können die Analyse sowie die Modellleistung beeinträchtigen. In dieser Lektion lernen Sie Techniken kennen, um fehlende Werte effektiv zu erkennen und zu verarbeiten.

Fehlende Daten erkennen

Mit Pandas können Sie fehlende Daten in Python erkennen. Die Methode isnull() erkennt fehlende Werte in einem Datensatz.

Beispiel:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Fehlende Werte zählen

Die Methode isnull() kann mit sum() kombiniert werden, um die fehlenden Werte in jeder Spalte zu zählen.

Beispiel:

print(df.isnull().sum())

Fehlende Daten entfernen

Sie können Zeilen oder Spalten mit fehlenden Daten mithilfe der Methode dropna() entfernen.

Beispiel:

df_cleaned = df.dropna()

Fehlende Daten auffüllen

Verwenden Sie die Methode fillna(), um fehlende Werte durch bestimmte Werte wie den Mittelwert oder den Median zu ersetzen.

Beispiel:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Vorwärts- und Rückwärtsauffüllen

Füllen Sie fehlende Werte mithilfe der Werte davor oder danach auf, indem Sie method='ffill' oder method='bfill' verwenden.

Beispiel:

df['Age'] = df['Age'].fillna(method='ffill')

Die richtige Technik auswählen

Berücksichtigen Sie beim Umgang mit fehlenden Daten den Datensatz und die Ziele der Analyse:

• Verwenden Sie dropna() für Zeilen mit vielen fehlenden Werten.
• Verwenden Sie fillna() mit dem Mittelwert oder Median für numerische Daten.
• Verwenden Sie das Vorwärts- oder Rückwärtsauffüllen für Zeitreihendaten.

Zusammenfassung

In dieser Lektion haben Sie gelernt, wie Sie:

• fehlende Werte mit isnull() erkennen.
• fehlende Werte mit sum() zählen.
• fehlende Daten durch Entfernen oder Auffüllen von Werten verarbeiten.
• die richtige Technik basierend auf Ihrem Datensatz auswählen.

Glückwunsch!

Sie haben die Lektion zum Umgang mit fehlenden Daten abgeschlossen. Fahren Sie mit der nächsten Lektion fort, um Techniken zur Datennormalisierung kennenzulernen.