Explorative Datenanalyse (EDA)

Die explorative Datenanalyse (EDA) ist ein wichtiger Schritt im Workflow der Data Science. Dabei werden Daten zusammengefasst, visualisiert und untersucht, um Muster, Zusammenhänge und Erkenntnisse aufzudecken.

In dieser Lektion lernen Sie Techniken zur Durchführung einer EDA mit Python-Bibliotheken wie Pandas und Matplotlib kennen.

Was ist EDA?

Mit EDA können Sie:

• die Struktur und Eigenschaften der Daten verstehen.
• Muster, Trends und Ausreißer erkennen.
• entscheiden, wie die Daten für weitere Analysen oder die Modellierung vorverarbeitet werden sollen.

Daten mit Pandas zusammenfassen

Pandas stellt Funktionen zum Erzeugen deskriptiver Statistiken und zum Zusammenfassen von Datensätzen bereit:

# Example: Summarizing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35], 'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)
print(df.describe())

Daten mit Matplotlib visualisieren

Matplotlib ist eine leistungsstarke Bibliothek zum Erstellen von Visualisierungen. Verwenden Sie sie, um Diagramme und Grafiken für die EDA zu erstellen.

# Example: Plotting data
import matplotlib.pyplot as plt

x = ['Alice', 'Bob', 'Charlie']
y = [50000, 60000, 70000]
plt.bar(x, y)
plt.title('Salaries')
plt.show()

Fehlende Daten erkennen

Mit Pandas lassen sich fehlende Werte im Datensatz einfach erkennen:

# Example: Identifying missing data
data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 35]}
df = pd.DataFrame(data)
print(df.isnull().sum())

Korrelationsanalyse

Die Korrelation misst den Zusammenhang zwischen numerischen Variablen. Verwenden Sie Pandas, um Korrelationsmatrizen zu berechnen:

# Example: Correlation analysis
print(df.corr())

Verteilungen visualisieren

Das Verständnis der Datenverteilung ist ein zentraler Bestandteil der EDA. Verwenden Sie Histogramme, um Verteilungen zu visualisieren:

# Example: Visualizing distributions
import seaborn as sns
sns.histplot(df['Salary'])
plt.show()

Ausreißererkennung

Ausreißer können die Analyse beeinflussen. Boxplots eignen sich gut zum Erkennen von Ausreißern:

# Example: Detecting outliers
sns.boxplot(x=df['Salary'])
plt.show()

Häufige Fehler bei der EDA

Hier sind einige Fehler, die Sie vermeiden sollten:

• Visualisierungen zu überspringen und sich ausschließlich auf numerische Zusammenfassungen zu verlassen.
• Fehlende Daten und Ausreißer zu ignorieren.
• Zusammenhänge zwischen Variablen nicht zu untersuchen.

Was haben Sie gelernt?

In dieser Lektion haben Sie Folgendes gelernt:

• Warum die explorative Datenanalyse (EDA) wichtig ist.
• Wie Sie Daten mit Pandas zusammenfassen.
• Wie Sie Datenverteilungen, Ausreißer und Korrelationen mit Matplotlib und Seaborn visualisieren.
• Welche häufigen Fehler Sie bei der EDA vermeiden sollten.

Sehr gut! Fahren wir mit dem nächsten Thema fort.