Kategorischer Datentyp

Der Categorical-Dtype in Pandas ist für Spalten vorgesehen, die eine begrenzte Menge diskreter Werte mit geringer Kardinalität enthalten, etwa Geschlecht, Status, Region oder Produktkategorie. Statt den vollständigen String für jede Zeile zu speichern, legt Pandas die eindeutigen Werte (die sogenannten Kategorien) einmal ab und verwendet pro Zeile einen Integer-Code als Verweis darauf. Das ähnelt der Verwendung von Nachschlagetabellen oder Enum-Typen in Datenbanken.

Konvertieren Sie eine Spalte in Categorical, indem Sie auf einer beliebigen Series .astype('category') aufrufen. Die resultierende Categorical Series speichert die eindeutigen Werte in .cat.categories und die Integer-Positionscodes in .cat.codes. Sie können eine Categorical auch direkt mit pd.Categorical() erstellen, um Kategorien und ihre Reihenfolge von Anfang an festzulegen.

Die Speichereinsparung durch den Categorical-Dtype hängt vom Kardinalitätsverhältnis ab (eindeutige Werte ÷ Gesamtzahl der Zeilen). Bei 5 eindeutigen Strings in einer Spalte mit 1.000.000 Zeilen speichert der object-Dtype 1 Million String-Zeiger (jeweils etwa 50+ Bytes), während Categorical nur 5 Strings plus 1 Million 8-Bit-Ganzzahlen speichert. Die Einsparung kann das 5- bis 20-Fache betragen und eine 50-MB-Spalte auf 2–5 MB reduzieren.

Manchmal haben Kategorien eine natürliche Reihenfolge — etwa 'low' < 'medium' < 'high' oder T-Shirt-Größen XS < S < M < L < XL. Ein geordnetes Categorical bildet diese Rangfolge ab, ermöglicht sinnvolle Vergleichsoperatoren (<, >= usw.) und stellt sicher, dass groupby-Ergebnisse in der korrekten semantischen Reihenfolge statt alphabetisch sortiert werden.

Wenn Sie eine geordnete Categorical-Spalte sortieren, verwendet Pandas die definierte Kategorienreihenfolge statt der alphabetischen Reihenfolge. Das bedeutet, dass 'low' unabhängig davon, wie diese Werte als Zeichenfolgen sortiert würden, vor 'medium' und 'medium' vor 'high' steht. Das ist entscheidend für korrekt geordnete Übersichtstabellen und Diagramme.

Pandas kann groupby()-Operationen auf Categorical-Spalten optimieren, da alle möglichen Gruppen im Voraus bekannt sind. Dadurch kann groupby bei großen DataFrames 2- bis 5-mal schneller werden. Außerdem gibt groupby bei Categorical alle Kategorien zurück – auch leere. So enthalten Ihre Übersichtstabellen immer eine Zeile für jede erwartete Gruppe, selbst wenn einige Gruppen null Beobachtungen aufweisen.

Verwenden Sie den .cat-Accessor, um die Kategorienliste zu verwalten. .cat.add_categories() fügt neue zulässige Werte hinzu (nützlich, bevor Sie neue Daten einfügen), und .cat.remove_unused_categories() entfernt Kategorienbezeichnungen, denen keine Zeilen entsprechen – praktisch nach dem Filtern. Sie können keinen Wert zuweisen, der nicht in den Kategorien enthalten ist, ohne ihn vorher hinzuzufügen.

Mit .cat.rename_categories() können Sie Kategorien neu beschriften, ohne die zugrunde liegenden Codes zu ändern. Das ist nützlich, wenn Sie verständlichere Namen anzeigen möchten (z. B. 'M' → 'Male') oder eine uneinheitliche Groß- und Kleinschreibung der Bezeichnungen korrigieren möchten, ohne wieder in object zu konvertieren und eine neue Zuordnung vorzunehmen. Die Methode akzeptiert eine Liste (positionsbezogen) oder ein Dictionary (gezielt).

Der Datentyp Categorical ist bei hoher Kardinalität eine schlechte Wahl – wenn fast jede Zeile einen eindeutigen Wert enthält (etwa Benutzer-IDs, Freitextkommentare oder UUIDs), ist der Kategorienindex nahezu so groß wie die ursprünglichen Daten und spart keinen Speicher. Als Faustregel gilt: Verwenden Sie Categorical nur, wenn die Anzahl eindeutiger Werte weniger als ungefähr 50 % der Gesamtzeilen beträgt, insbesondere wenn es sich um einige Dutzend oder Hundert eindeutige Werte handelt.

Die Verwendung von Categorical sorgt für eine konsistente Ausgabeform bei Ergebnissen von groupby und Pivot-Tabellen. Ohne Categorical werden Gruppen, die zufällig keine Beobachtungen enthalten, stillschweigend aus dem Ergebnis weggelassen. Das kann beim Vergleich verschiedener Datenausschnitte zu nicht ausgerichteten Ausgaben führen. Mit Categorical und observed=False werden immer alle Gruppen in der Ausgabe angezeigt.

Viele scikit-learn-Schätzer erwarten numerische Eingaben. Um eine Categorical-Spalte für ein Modell in Zahlen umzuwandeln, verwenden Sie .cat.codes (Label-Encoding) oder pd.get_dummies() (One-Hot-Encoding). One-Hot-Encoding vermeidet, dass eine ordinale Beziehung zwischen den Kategorien nahegelegt wird. Für geordnete Categorical-Spalten wie Prioritätsstufen ist Label-Encoding (also die direkten Codes) geeignet und erhält die Reihenfolgeinformationen.

In dieser Lektion haben Sie gelernt: Der Categorical-Datentyp speichert eindeutige Werte nur einmal und verwendet Ganzzahlencodes pro Zeile, wodurch bei Spalten mit niedriger Kardinalität viel Speicher eingespart wird. Geordnetes Categorical unterstützt sinnvolle Vergleiche und eine korrekte Sortierung, und groupby mit observed=False schließt alle Kategorien ein, auch leere. Vermeiden Sie Categorical bei Spalten mit hoher Kardinalität. Als Nächstes analysieren wir Datumszeichenfolgen mit pd.to_datetime() korrekt.