Ausreißer erkennen und behandeln

Ein Ausreißer ist ein Datenpunkt, der sich deutlich vom Rest des Datensatzes unterscheidet. Ausreißer können echt sein (ein einzelner Unternehmenskunde mit einer Bestellung über 500.000 $ in einem Datensatz mit Bestellungen von durchschnittlich 100 $) oder fehlerhaft (ein negativer Preis oder ein Tippfehler, durch den aus 120 die Zahl 12.000 wurde). Der erste Schritt bei der Behandlung von Ausreißern besteht darin zu entscheiden, ob der Extremwert real und aussagekräftig oder ein Datenqualitätsproblem ist – die Behandlung unterscheidet sich in beiden Fällen erheblich.

Ein Boxplot ist das schnellste visuelle Werkzeug, um Ausreißer zu erkennen. Die Box umfasst den Interquartilsabstand (IQR, Q1–Q3), die Whisker reichen bis zum 1,5-Fachen des IQR, und Punkte außerhalb der Whisker werden einzeln als mutmaßliche Ausreißer dargestellt. Verwenden Sie df['revenue'].plot(kind='box') oder Seaborns sns.boxplot(), um Ausreißer sofort zu sehen, ohne Grenzwerte manuell berechnen zu müssen.

Bei der IQR-Grenzmethode wird der Interquartilsabstand berechnet und werden die Grenzen bei Q1 − 1,5×IQR und Q3 + 1,5×IQR festgelegt. Werte außerhalb dieser Grenzen werden als Ausreißer markiert. Der Multiplikator 1,5 ist für moderate Ausreißer üblich; verwenden Sie 3,0 nur für extreme Ausreißer. Diese Methode ist robust: Anders als bei Z-Scores wird keine Normalverteilung vorausgesetzt.

Der Z-Score gibt an, wie viele Standardabweichungen ein Wert vom Mittelwert entfernt ist. Ein Wert mit |Z| > 3 gilt üblicherweise als Ausreißer; damit werden 99,7 % der normalverteilten Daten abgedeckt. Z-Scores reagieren jedoch empfindlich auf genau die Ausreißer, die sie erkennen sollen: Extremwerte verschieben den Mittelwert und vergrößern die Standardabweichung, wodurch andere Ausreißer möglicherweise unentdeckt bleiben.

Entfernen Sie Ausreißer niemals, ohne die Entscheidung zu dokumentieren und zu begründen. Markieren Sie sie stattdessen zunächst mit einer booleschen Spalte (is_outlier) und analysieren Sie anschließend, ob sie einem Muster folgen (dieselbe Region, dasselbe Produkt, derselbe Tag). Sind sie echt, behalten Sie sie bei und modellieren Sie sie ausdrücklich. Handelt es sich um Fehler, entfernen Sie sie und protokollieren Sie die Anzahl der entfernten Zeilen im Audit-Trail der Pipeline.

Beim Begrenzen (oder Winsorisieren) werden Werte außerhalb der Grenzen durch den jeweiligen Grenzwert ersetzt, statt die Zeile zu entfernen. So bleiben alle Zeilen im Datensatz erhalten, während die Verzerrung reduziert wird, die Ausreißer in linearen Modellen und zusammenfassenden Statistiken verursachen. Verwenden Sie clip(lower=, upper=), um die Grenzen in einer einzigen vektorisierten Operation anzuwenden.

Verteilungen von Umsätzen und Preisen sind oft rechtsschief und haben einen langen Ausläufer großer Werte. Eine logarithmische Transformation mit np.log1p() (Logarithmus des Werts + 1 zur Verarbeitung von Nullen) komprimiert den Ausläufer und macht die Verteilung symmetrischer. Viele statistische Modelle und Visualisierungen setzen Normalverteilung voraus. Eine Log-Transformation der Umsatzspalte vor der Modellierung verbessert daher häufig die Ergebnisse.

Wenn Sie viele Spalten gleichzeitig analysieren, berechnen Sie die IQR-Grenzen für Ausreißer programmgesteuert für alle numerischen Spalten. Iterieren Sie über die numerischen Spalten, berechnen Sie die Grenzen und speichern Sie die Ergebnisse in einem Dictionary. So können Sie mit wenigen Zeilen einen vollständigen Ausreißerbericht erstellen, statt die IQR-Berechnung für jede Spalte manuell zu wiederholen.

Manche Punkte sind nur in Kombination Ausreißer: Ein unit_price von 10 $ ist normal, eine quantity von 500 ist ungewöhnlich, aber nicht unmöglich. Ein unit_price von 10 $ zusammen mit einer quantity von 500 bei einem Luxusartikel ist jedoch verdächtig. Bivariate Ausreißer erscheinen in Streudiagrammen als isolierte Punkte. Verwenden Sie df.plot.scatter('quantity', 'unit_price'), um Punkte zu erkennen, die weit von der Hauptgruppe entfernt liegen.

Jede Entscheidung zu einem Ausreißer sollte protokolliert werden: die Spalte, die Erkennungsmethode, den verwendeten Grenzwert, die Anzahl der markierten Zeilen und die angewendete Behandlung (beibehalten, begrenzen oder entfernen). Diese Dokumentation schützt die analysierende Person bei Codeprüfungen und Audits. Speichern Sie sie in einem Bereinigungsprotokoll-Dictionary, das zusammen mit dem Ausgabedatensatz gespeichert wird.

Speichern Sie den aktualisierten DataFrame, nachdem Sie Ausreißer markiert und behandelt haben. Belassen Sie das is_outlier-Kennzeichen in der Ausgabedatei, damit nachgelagerte Nutzer markierte Zeilen für bestimmte Analysen ausschließen können. Speichern Sie die begrenzte Version in einer Spalte mit einem eindeutigen Suffix (_capped) neben dem Original, damit die Bereinigung rückgängig gemacht werden kann.

In dieser Lektion haben Sie Folgendes gelernt: Ausreißer mit IQR-Grenzen und Z-Scores erkennen, entscheiden, ob Ausreißer markiert, begrenzt oder entfernt werden und logarithmische Transformationen auf rechtsschiefe Verteilungen anwenden. Als Nächstes sehen wir uns die Standardisierung uneinheitlicher Kategorienamen in Textspalten an.