Inkonsistente Kategorien standardisieren

Wenn Kategoriedaten von Menschen eingegeben werden, erscheint dasselbe Konzept oft in vielen unterschiedlichen Schreibweisen: Electronics, electronics, ELECTRONICS, Electronicss. Eine GroupBy-Operation auf dieser Spalte erzeugt Dutzende kleiner Gruppen statt einer aussagekräftigen Gruppe. Die Standardisierung von Kategorien auf eine kanonische Liste ist einer der wichtigsten Bereinigungsschritte vor jeder Aggregation oder der Erstellung von Features für maschinelles Lernen.

Der erste und einfachste Standardisierungsschritt besteht darin, Groß- und Kleinschreibung sowie Leerzeichen zu normalisieren. Wenden Sie .str.strip().str.lower() an, um führende und abschließende Leerzeichen zu entfernen und alles in Kleinbuchstaben umzuwandeln, bevor Sie andere Vergleiche durchführen. Durch diesen einen Schritt werden viele Varianten zusammengeführt: Electronics, electronics und ' Electronics ' werden nach der Normalisierung alle zu electronics.

Auch nach der Normalisierung der Groß- und Kleinschreibung bleiben viele Varianten aufgrund von Abkürzungen, Synonymen oder alten Bezeichnungen unterschiedlich. Erstellen Sie ein Dictionary für die Alias-Zuordnung, dessen Schlüssel die Varianten und dessen Werte die kanonische Form enthalten. Wenden Sie es mit df['category_clean'].map(alias_map).fillna(df['category_clean']) an – fillna bewahrt Werte, die nicht im Dictionary enthalten sind, statt sie durch NaN zu ersetzen.

Manche Kategorienamen enthalten einheitliche Formatierungsfehler wie doppelte Leerzeichen oder nachgestellte Zahlen. Verwenden Sie .str.replace() mit einem regulären Ausdruck, um diese Muster in allen Zeilen gleichzeitig zu korrigieren. Beispielsweise reduziert .str.replace(r'\s+', ' ', regex=True) mehrere Leerzeichen auf eines, und .str.replace(r'\d+$', '', regex=True) entfernt nachgestellte Ziffern aus Kategorienamen.

Wenn Tippfehler nicht vorhersehbar sind, verwenden Sie Fuzzy Matching, um für jede Variante die ähnlichste kanonische Kategorie zu finden. Pythons integriertes difflib.get_close_matches() gibt anhand der Zeichenkettenähnlichkeit die besten Treffer aus einer Liste gültiger Kategorien zurück. Wenden Sie es als Hilfsfunktion über df['category'].apply() an, um Varianten aufzulösen, die allein mit map() nicht erkannt werden.

Definieren Sie Ihre kanonischen Kategorien ausdrücklich, statt sie aus den Daten abzuleiten. Eine fest codierte Liste zwingt jeden Wert durch eine Validierungsprüfung; Werte, die nicht in der Liste enthalten sind, werden als unbekannt markiert. Pflegen Sie die kanonische Liste in einer Konfigurationsdatei oder in einer separaten DataFrame-Spalte, damit sie leicht aktualisiert werden kann, wenn das Unternehmen eine neue Produktkategorie hinzufügt, ohne den Bereinigungscode anzupassen.

Unbekannte Kategorien, die nach der Korrektur per Fuzzy Matching keinem kanonischen Wert entsprechen, sollten unter der Bezeichnung Other zusammengefasst und nicht verworfen werden, damit keine Zeilen unbemerkt verloren gehen. Setzen Sie sie mit np.where() oder einer einfachen bedingten Zuweisung auf 'other'. Protokollieren Sie, wie viele Zeilen 'other' zugeordnet wurden, und prüfen Sie sie auf Muster, die eine neue kanonische Kategorie rechtfertigen könnten.

Nach der Standardisierung konvertieren Sie die bereinigte Kategoriespalte in den Pandas-Datentyp Categorical und geben dabei explizit eine Liste gültiger Kategorien an. Dadurch wird das Schema durchgesetzt: Jeder Versuch, eine ungültige Kategorie zuzuweisen, löst einen Fehler aus. Außerdem wird der Speicherbedarf reduziert, da die Kategorietexte intern als Ganzzahlcodes gespeichert werden, und groupby-Operationen auf großen DataFrames werden beschleunigt.

Führen Sie nach allen Standardisierungsschritten eine abschließende Validierung durch: Stellen Sie sicher, dass in der bereinigten Spalte kein Wert außerhalb der kanonischen Wertemenge vorhanden ist. Verwenden Sie assert df['category_final'].isin(valid_set).all(). Platzieren Sie diese Assertion am Ende der Bereinigungsfunktion, damit sie bei jeder Ausführung der Pipeline ausgeführt wird und Regressionen erkennt, wenn neue Rohdaten bisher unbekannte Kategorien enthalten.

Erstellen Sie eine Differenztabelle, die für jede geänderte Zeile den ursprünglichen Wert und seine bereinigte Ersetzung zeigt. Dieser Prüfpfad ermöglicht es den Datenverantwortlichen, einzelne Zuordnungen zu überprüfen und zu genehmigen oder abzulehnen. Verwenden Sie eine boolesche Maske, um geänderte Zeilen auszuwählen, und vergleichen Sie die ursprüngliche und die finale Spalte nebeneinander. Exportieren Sie die Differenzen als CSV-Datei, damit nichttechnische Beteiligte sie überprüfen können.

Ersetzen Sie die ursprüngliche, uneinheitliche Kategoriespalte durch die standardisierte Spalte und entfernen Sie vor dem Speichern alle temporären Arbeitsspalten. Speichern Sie das Alias-Zuordnungswörterbuch und den Schwellenwert für die Fuzzy-Korrektur in der Pipeline-Konfiguration, damit die Standardisierung vollständig reproduzierbar ist. Ein Bereinigungslauf zwei Monate später mit einem neuen Datenexport sollte für dieselben Eingabewerte identische Ergebnisse liefern.

Testen Sie Ihr Verständnis der Konzepte zur Datenanalyse aus dieser Lektion.

In dieser Lektion haben Sie gelernt: Groß-/Kleinschreibung und Leerzeichen als ersten Standardisierungsschritt zu normalisieren, Aliase zuzuordnen und Fuzzy Matching zur Korrektur von Tippfehlern anzuwenden sowie eine kanonische Kategorienliste mit dem Datentyp Categorical und Assertions durchzusetzen. Als Nächstes beschäftigen wir uns mit der Schemavalidierung und Assertions zur Laufzeit, um jede Pipeline-Phase abzusichern.