Duplikate erkennen und entfernen

Doppelte Zeilen erhöhen Zählungen, Umsatzsummen und Durchschnittswerte unbemerkt, ohne dass eine Fehlermeldung ausgegeben wird. Ein Verkaufsdatensatz mit 500 doppelten Bestelldatensätzen weist den Umsatz um genau die Summe dieser 500 Bestellungen zu hoch aus. Das Erkennen und Entfernen von Duplikaten gehört zu den ersten Bereinigungsschritten, die Sie vor jeder Aggregation oder Modellierung durchführen sollten, da sich nachgelagerte Fehler aus dieser einen Fehlerquelle fortlaufend verstärken.

df.duplicated() gibt eine boolesche Series zurück, deren Wert für jede Zeile, die eine exakte Kopie einer vorherigen Zeile ist, True lautet. Die Standardeinstellung keep='first' markiert alle Vorkommen außer dem ersten. Mit keep=False wird jedes Vorkommen eines Duplikats markiert – nützlich, wenn Sie vor der Entscheidung, welches Vorkommen behalten werden soll, alle Kopien eines doppelten Datensatzes prüfen möchten.

Entfernen Sie exakt doppelte Zeilen mit df.drop_duplicates(). Standardmäßig bleibt das erste Vorkommen erhalten, während alle weiteren entfernt werden. Übergeben Sie keep='last', um den neuesten Datensatz zu behalten, wenn Ihre Daten einen Zeitstempel enthalten und spätere Zeilen als maßgeblicher gelten. Prüfen Sie immer die Zeilenanzahl vor und nach dem Vorgang, um zu bestätigen, dass die erwartete Anzahl von Zeilen entfernt wurde.

Zeilen können teilweise doppelt vorkommen: Sie haben denselben Geschäftsschlüssel (z. B. order_id), unterscheiden sich aber aufgrund eines vorgelagerten Fehlers, der zwei Versionen desselben Datensatzes erzeugt hat, in anderen Spalten. Verwenden Sie df.duplicated(subset=['order_id']), um Zeilen mit demselben Schlüssel, aber möglicherweise unterschiedlichen Werten in anderen Spalten zu finden. Prüfen Sie diese Zeilen, bevor Sie entscheiden, wie Sie sie abgleichen.

Wenn teilweise doppelte Datensätze vorhanden sind, müssen Sie entscheiden, welcher Datensatz maßgeblich ist. Gängige Strategien sind: die Zeile mit dem aktuellsten Zeitstempel (also der letzten Aktualisierung) beibehalten, die Zeile mit den meisten Nicht-Null-Werten beibehalten oder bei Korrekturen den Datensatz mit dem höheren Geldbetrag behalten. Sortieren Sie nach Ihrem Kriterium zur Auflösung von Gleichständen und entfernen Sie anschließend die Duplikate, wobei Sie das erste (oder letzte) Vorkommen beibehalten.

Nahezu identische Datensätze sind Zeilen, die dieselbe Entität darstellen, sich aber geringfügig unterscheiden – etwa derselbe Kundenname mit einem Tippfehler oder dieselbe Transaktion mit einer Rundungsdifferenz von einem Cent. Die Erkennung exakter Duplikate findet solche Fälle nicht. Ein Ansatz besteht darin, nach der Schlüsselspalte zu gruppieren und zu zählen: Wenn ein Kundenname in leicht unterschiedlichen Varianten vorkommt, verwenden Sie vor dem Entfernen von Duplikaten .str.strip().str.lower(), um die Werte zu normalisieren.

Wenn Sie doppelte Zeilen zusammenführen müssen, statt sie einfach zu entfernen, verwenden Sie groupby().agg(). Stellen Sie sich beispielsweise vor, dass zwei Zeilen dieselbe Bestellung darstellen, eine aber die Lieferadresse und die andere die Rechnungsadresse enthält. Sie können mit 'first' aggregieren (wobei Nicht-Null-Werte bevorzugt werden) oder eine benutzerdefinierte Funktion verwenden, die Nicht-Null-Werte über die Duplikate hinweg zusammenführt.

Das Ergebnis von drop_duplicates(keep='first') hängt von der Reihenfolge der Zeilen ab. Wenn der DataFrame aus einer Datenbankabfrage ohne ORDER-BY-Klausel geladen wurde, ist die Reihenfolge der Zeilen nicht deterministisch. Das bedeutet, dass je nach Ausführung ein anderer Datensatz beibehalten werden kann. Sortieren Sie vor dem Entfernen von Duplikaten immer nach einem stabilen Schlüssel (z. B. Primärschlüssel oder Zeitstempel), damit der Prozess deterministisch und reproduzierbar ist.

Überprüfen Sie das Ergebnis nach dem Entfernen der Duplikate mit drei Prüfungen: Es dürfen keine exakten Duplikate übrig sein (df_clean.duplicated().sum() == 0), es darf keine doppelten Geschäftsschlüssel geben (df_clean.duplicated(subset=['order_id']).sum() == 0) und die erwartete Zeilenanzahl muss plausibel sein. Formulieren Sie diese Prüfungen als Assertions, damit sie deutlich fehlschlagen, wenn zukünftige Datenänderungen die Bereinigungslogik ungültig machen.

Eine gute Datenbereinigung ist reproduzierbar und prüfbar. Protokollieren Sie die Anzahl der entfernten Zeilen, den Schlüssel für die Duplikaterkennung und die Regel zur Auflösung von Gleichständen in einem Dictionary für den Bereinigungsbericht. Speichern Sie diesen Bericht zusammen mit der bereinigten Datendatei, damit alle Personen, die die Pipeline später ausführen, die Bereinigungsentscheidungen überprüfen können, ohne den Code erneut lesen zu müssen. Transparenz bei der Datenbereinigung schafft Vertrauen in die Analyseergebnisse.

Speichern Sie den DataFrame ohne Duplikate in einer neuen Datei, statt die Originaldatei zu überschreiben. So bleiben die Rohdaten für Prüfungen erhalten. Benennen Sie die Datei eindeutig mit dem Suffix _clean oder _deduped und fügen Sie das Ausführungsdatum hinzu, damit mehrere Bereinigungsläufe unterscheidbar sind. Verwenden Sie Parquet, um die Daten in nachfolgenden Pipelineschritten schnell erneut zu laden.

Testen Sie Ihr Verständnis der Konzepte zur Datenanalyse aus dieser Lektion.

In dieser Lektion haben Sie Folgendes gelernt: exakte und teilweise doppelte Datensätze mit duplicated() und drop_duplicates() erkennen, mithilfe von Sortier- und Aggregationsstrategien entscheiden, welches Duplikat beibehalten wird und Ergebnisse mit Assertions überprüfen sowie Bereinigungsentscheidungen protokollieren. Als Nächstes sehen wir uns Techniken zur Erkennung und Behandlung von Ausreißern an.