Datenbereinigung und Vorverarbeitung

Rohdaten sind häufig uneinheitlich und müssen bereinigt und vorverarbeitet werden, bevor sie analysiert werden können. Diese Schritte sind entscheidend, um die Qualität und Genauigkeit Ihrer Analyse sicherzustellen.

In dieser Lektion lernen Sie Techniken zum Umgang mit fehlenden Daten, zum Entfernen von Duplikaten und zur Vorverarbeitung von Daten für die Analyse kennen.

Was ist Datenbereinigung?

Bei der Datenbereinigung werden Fehler in einem Datensatz identifiziert und behoben. Zu den häufigsten Aufgaben gehören:

• Fehlende Werte behandeln.
• Duplikate entfernen.
• Formate vereinheitlichen.

Fehlende Daten behandeln

Fehlende Daten können aus verschiedenen Gründen auftreten. Sie können damit umgehen, indem Sie:

• Fehlende Werte durch einen Standardwert oder den Mittelwert/Median ersetzen.
• Zeilen oder Spalten mit zu vielen fehlenden Werten entfernen.

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

Duplikate entfernen

Doppelte Daten können Ihre Analyse verzerren. Verwenden Sie Pandas, um Duplikate zu entfernen:

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

Daten standardisieren

Die Datenstandardisierung sorgt für Konsistenz. Beispielsweise können Sie Datumsformate oder die Groß- und Kleinschreibung von Text vereinheitlichen:

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

Daten transformieren

Transformationen wie Skalierung und Kodierung gehören zur Vorverarbeitung:

• Skalierung: Numerische Werte standardisieren.
• Kodierung: Kategorische Daten in eine numerische Form umwandeln.

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

Daten skalieren

Durch die Skalierung befinden sich numerische Daten auf derselben Skala, was für Machine-Learning-Algorithmen unerlässlich ist:

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

Daten validieren

Durch die Validierung wird sichergestellt, dass die Daten Qualitätsstandards erfüllen. Prüfen Sie beispielsweise auf Ausreißer oder ungültige Werte:

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

Häufige Fehler bei der Datenbereinigung

Hier sind einige Fehler, die Sie vermeiden sollten:

• Fehlende Daten zu ignorieren, was zu ungenauen Analysen führt.
• Formate nicht zu vereinheitlichen, wodurch Inkonsistenzen entstehen.
• Die Validierung zu vernachlässigen, was zu Fehlern bei nachgelagerten Aufgaben führt.

Was haben Sie gelernt?

In dieser Lektion haben Sie Folgendes gelernt:

• Wie Sie mit fehlenden Daten umgehen und Duplikate entfernen.
• Wie Sie Daten für die Analyse vereinheitlichen, transformieren und skalieren.
• Wie Sie die Datenqualität validieren und Ausreißer erkennen.
• Wie wichtig die Datenbereinigung für eine genaue Analyse ist.

Sehr gut! Fahren wir mit dem nächsten Thema fort.