Datentypen von Spalten untersuchen

Jede Spalte in einem Pandas DataFrame hat einen dtype (Datentyp), der bestimmt, wie Werte im Speicher abgelegt werden und welche Operationen darauf zulässig sind. Eine Integer-Spalte mit dem dtype object (String) kann nicht summiert werden. Ein als String gespeichertes Datum wird als Text und nicht als Zeitreihe behandelt. Falsche dtypes gehören zu den häufigsten Ursachen für unbemerkte Fehler und unerwartete Ergebnisse in Datenanalyse-Pipelines.

Überprüfen Sie die dtypes immer als allererstes, nachdem Sie einen neuen Datensatz geladen haben.

DataFrame.dtypes gibt eine Series zurück, deren Index die Spaltennamen und deren Werte den Pandas-dtype der jeweiligen Spalte enthalten. Häufige dtypes, denen Sie begegnen werden, sind int64, float64, object (Strings und gemischte Werte), bool, datetime64[ns] und category. Der Name des dtypes gibt sowohl die Art der Daten als auch die Anzahl der Bytes an, die jeder Wert verwendet.

Der dtype object ist Pandas’ Sammeltyp für Spalten, die nicht als numerischer oder boolescher Typ gespeichert werden können. In der Regel handelt es sich um String-Daten, er kann aber auch auf eine Spalte mit gemischten Typen hinweisen (z. B. Ganzzahlen gemischt mit Strings). Object-Spalten benötigen mehr Speicher als spezialisierte dtypes und lassen sich langsamer verarbeiten. Wenn Sie object sehen, fragen Sie sich: Sollte dies ein String, eine Zahl, eine Kategorie oder ein Datum sein?

df.info() gibt eine kompakte Tabelle aus, die den Namen jeder Spalte, die Anzahl der Nicht-Null-Werte und den dtype sowie den gesamten Speicherverbrauch anzeigt. Mit diesem einen Befehl erhalten Sie einen vollständigen Überblick über die Qualität des Datensatzes: Sie sehen gleichzeitig, welche Spalten fehlende Daten und welche falsche dtypes enthalten. Deshalb ist er der standardmäßige erste Befehl nach dem Laden eines Datensatzes.

Beim Einlesen einer CSV-Datei ermittelt Pandas die dtypes, indem es die Werte untersucht. Dabei treten häufig folgende Probleme auf: Numerische Spalten werden als object eingelesen, wenn sie Tausendertrennzeichen oder Währungssymbole enthalten; boolesche Spalten werden als object eingelesen, wenn sie als Strings wie 'Yes'/'No' gespeichert sind; und Datumsspalten werden als object eingelesen, weil Pandas Datumsangaben nicht automatisch interpretiert, sofern Sie dies nicht angeben. Wenn Sie diese Muster erkennen, können Sie sie durch Typkonvertierung schnell beheben.

Verschiedene dtypes benötigen sehr unterschiedlich viel Speicher. Eine int64-Spalte verwendet 8 Bytes pro Wert, während eine object-Spalte mit kurzen Strings möglicherweise 50–200 Bytes pro Wert benötigt. Bei DataFrames mit Millionen von Zeilen kann die Wahl des richtigen dtypes den Speicherverbrauch von Gigabytes auf Megabytes reduzieren. Rufen Sie df.memory_usage(deep=True) auf, um die Bytekosten pro Spalte zu sehen.

Ein häufiges Problem ist eine numerische Spalte, die aufgrund vereinzelter Formatierungszeichen als object gespeichert ist. Sie können dies erkennen, indem Sie prüfen, ob pd.to_numeric(df['col'], errors='coerce') ein anderes Ergebnis liefert als die ursprüngliche Spalte. Werte, die nicht geparst werden können, werden zu NaN und zeigen genau, in welchen Zeilen die Typinferenz fehlgeschlagen ist.

Wenn eine Spalte NaN-Werte enthält, speichert Pandas Integer-Spalten als float64, weil die standardmäßigen NumPy-Integer-Typen NaN nicht darstellen können. Die daraus entstehenden Float-Werte wie 25.0 sehen wie Ganzzahlen aus, werden aber als Gleitkommazahlen gespeichert. Pandas hat nullable Integer-Typen eingeführt (Int64 mit großem I), die NaN unterstützen und dabei die Integer-Semantik beibehalten.

Mit df.select_dtypes(include=) können Sie alle Spalten einer bestimmten Typfamilie auswählen. Häufige Argumente sind: 'number' (alle numerischen Typen), 'object' (Strings), 'bool', 'datetime' und 'category'. Das ist am Anfang einer Pipeline besonders nützlich, um numerische Bereinigung nur auf numerische Spalten und String-Bereinigung nur auf Textspalten anzuwenden.

Eine praktische EDA-Gewohnheit ist das Erstellen eines dtype-Berichts, der für jede Spalte den dtype, die Anzahl eindeutiger Werte und Beispielwerte auflistet. So erkennen Sie schnell Spalten, die vor Beginn der Analyse konvertiert werden müssen. Einen solchen Bericht können Sie mit einem einfachen DataFrame erzeugen, der aus spaltenweisen Aggregationen erstellt wird.

In Produktionspipelines, die täglich neue Daten verarbeiten, können sich dtypes schleichend ändern — eine Spalte, die immer int64 war, kann als float64 eintreffen, sobald ein einzelner NaN-Wert auftritt. Fügen Sie am Anfang der Pipeline dtype-Assertions ein, um Schemaänderungen frühzeitig zu erkennen. Ein deutlicher Fehler ist wesentlich besser, als nachgelagert unbemerkt falsche Ergebnisse zu erzeugen.

Testen Sie Ihr Verständnis für die Überprüfung von Spaltendatentypen.

In dieser Lektion haben Sie gelernt: df.dtypes zeigt den Typ jeder Spalte, der dtype object ist ein Sammeltyp für Strings und gemischte Typen, und df.info() liefert einen vollständigen Überblick über Typen und Nullwerte. Verwenden Sie select_dtypes(), um Spalten nach Typfamilie zu filtern, und fügen Sie dtype-Assertions hinzu, um Schemaänderungen in Produktionsumgebungen zu erkennen. Als Nächstes konvertieren wir Spalten mit astype() in die richtigen dtypes.