Textspalten kombinieren und bereinigen

Eine häufige Aufgabe bei der Datenvorbereitung besteht darin, durch das Kombinieren von Werten aus mehreren Spalten einen einzelnen String zu erstellen – beispielsweise einen vollständigen Namen aus Vor- und Nachnamen oder eine Adresse aus Straße, Ort und Land. In Pandas verketten Sie String-Spalten mit dem Operator + auf zwei Series (oder einer Series und einem Stringliteral), nachdem Sie numerische Spalten mit .astype(str) in Strings umgewandelt haben.

Wenn Sie eine numerische Spalte mit einer String-Spalte kombinieren, müssen Sie die numerische Spalte zunächst mit .astype(str) in einen String umwandeln. Pythons Operator + löst einen TypeError aus, wenn Sie versuchen, eine String-Series und eine Integer-Series zu addieren. Das ist eine häufige Fehlerquelle beim Erstellen zusammengesetzter Schlüssel oder Bezeichnungen aus Spalten mit unterschiedlichen Datentypen.

Series.str.cat(others, sep=) ist die Pandas-native Methode, um mehrere Series mit einem Trennzeichen zu verketten und dabei NaN-Werte korrekt zu behandeln. Standardmäßig führt ein NaN in einer beliebigen Spalte dazu, dass das Ergebnis für diese Zeile NaN ist. Übergeben Sie na_rep='?' (oder eine beliebige Zeichenkette), um NaN durch einen Platzhalter zu ersetzen, anstatt den Wert weiterzugeben.

In Kategorien-Spalten realer Daten finden sich häufig inkonsistente Bezeichnungen, die durch Tippfehler, unterschiedliche Groß- und Kleinschreibung oder verschiedene Abkürzungen entstehen (z. B. 'US', 'USA', 'United States'). Üblicherweise erstellen Sie ein Mapping-Dictionary, das jede Variante auf die kanonische Form abbildet, und wenden es anschließend mit .map() oder .replace() an.

Bevor Sie Textspalten vergleichen oder gruppieren, sollten Sie als ersten Bereinigungsschritt immer Leerraum entfernen und die Groß- und Kleinschreibung vereinheitlichen. Zwei Werte, die für einen Menschen gleich aussehen (' Active' und 'active'), behandelt Pandas aufgrund des führenden Leerzeichens und des Unterschieds bei der Großschreibung als verschieden. Eine zweistufige Kette – zuerst strip, dann lower – behebt beide Probleme.

Wenn Tippfehler einen exakten Abgleich verhindern, berechnet Fuzzy Matching Ähnlichkeitswerte zwischen Zeichenketten. Die Bibliothek rapidfuzz (oder das klassische fuzzywuzzy) stellt vektorisierte Verfahren für Fuzzy Matching bereit. Ein typischer Ablauf: Suchen Sie für jeden eindeutigen fehlerhaften Wert den ähnlichsten kanonischen Wert oberhalb eines Ähnlichkeitsschwellenwerts und erstellen Sie daraus ein Korrektur-Mapping.

Manchmal enthält eine Zelle mehrere durch ein Trennzeichen getrennte Werte (z. B. 'python,sql,pandas'). Teilen Sie die Spalte auf, um Listen zu erhalten, und rufen Sie anschließend .explode() auf, um für jeden Wert eine eigene Zeile zu erstellen. Dadurch wird eine breite, zusammengepackte Zelle in ein tidy long format umgewandelt, in dem jede Zeile genau einen Wert enthält – eine Voraussetzung für groupby- und Join-Operationen mit diesen Werten.

Textdaten aus verschiedenen Quellen können Kodierungsprobleme aufweisen – etwa ungewöhnliche Zeichen wie \xa0 (geschütztes Leerzeichen), \u2019 (typografisches Apostroph) oder fehlerhaft dargestellte Zeichen mit Akzenten. Verwenden Sie .str.encode('ascii', errors='replace').str.decode('ascii') für eine schnelle Bereinigung auf ASCII-Basis oder .str.normalize('NFKD'), um Akzente vor dem Entfernen in ihre Bestandteile zu zerlegen.

In vielen Datensätzen müssen Sie aus mehreren Spalten einen zusammengesetzten Schlüssel erstellen, um eine Zeile für Joins oder das Entfernen von Duplikaten eindeutig zu identifizieren. Wenn Sie bereinigte Zeichenketten-Spalten (Leerraum entfernt, in Kleinschreibung umgewandelt und normalisiert) zu einer einzigen Schlüsselzeichenkette kombinieren, ist ein konsistenter Abgleich über verschiedene Datenquellen hinweg gewährleistet, selbst wenn dieselbe Entität in den Quellen leicht unterschiedlich geschrieben wird.

Überprüfen Sie nach der Bereinigung, ob alle Werte einer kategorialen Textspalte zu einer bekannten kanonischen Menge gehören. Ein Wert, der nicht in dieser Menge enthalten ist, kann auf eine neue, gültige Kategorie oder einen Datenfehler hinweisen. Protokollieren oder markieren Sie unbekannte Werte zur manuellen Prüfung, anstatt sie stillschweigend zu verwerfen, damit nichts unbemerkt bleibt.

Hier sehen Sie eine vollständige Pipeline zur Textbereinigung, die alle Techniken dieser Lektion anwendet: Leerraum entfernen, Groß- und Kleinschreibung vereinheitlichen, Abkürzungen korrigieren, Sonderzeichen entfernen und gegen eine kanonische Liste prüfen. Eine solche wiederverwendbare Funktion würden Sie typischerweise jedem Modul zur Datenaufnahme hinzufügen.

Testen Sie Ihr Verständnis beim Kombinieren und Bereinigen von Textspalten.

In dieser Lektion haben Sie gelernt: Spalten nach der Umwandlung numerischer Werte in Zeichenketten mit dem + operator zu verketten, mit str.cat(sep=) Werte durch ein Trennzeichen zu verbinden und NaN zu behandeln, mit .map() ein kanonisches Mapping anzuwenden, um inkonsistente Bezeichnungen zu normalisieren, und mit explode() Zellen mit Listenwerten in Zeilen aufzuteilen. Erzwingen Sie kanonische Mengen, um Probleme mit der Datenqualität frühzeitig zu erkennen. Als Nächstes sortieren wir DataFrames nach Spaltenwerten.