Interpolation und fortgeschrittene Imputation

Vorwärts- und Rückwärtsauffüllen übertragen den nächstgelegenen bekannten Wert, ohne den Trend der Daten zu berücksichtigen. Bei der Interpolation werden fehlende Werte geschätzt, indem ein gleichmäßiger Übergang zwischen bekannten Werten angenommen wird – wenn die Temperatur beispielsweise am Montag 20 °C und am Freitag 30 °C betrug, schätzt die Interpolation für Mittwoch 25 °C. Dadurch entstehen realistischere Imputationen für sich gleichmäßig verändernde Signale wie Sensordaten, Preise oder Bevölkerungszahlen.

Pandas interpolate() unterstützt mehrere Methoden. Die häufigsten sind 'linear' (gleichmäßig zwischen bekannten Werten verteilt), 'time' (berücksichtigt ungleichmäßige Zeitabstände, wenn ein DatetimeIndex gesetzt ist), 'polynomial' (passt eine Polynomenkurve an und erfordert ein order-Argument) und 'spline' (glattes stückweise definiertes Polynom). Linear ist die sicherste Standardeinstellung; Methoden höherer Ordnung können kleine Lücken überanpassen.

Wenn Ihre Series einen DatetimeIndex mit ungleichmäßigen Zeitabständen besitzt (z. B. nur Werktage, fehlende Wochenenden), interpoliert method='time' proportional zur tatsächlich verstrichenen Zeit und nicht nur anhand der Position. Das ist genauer als die lineare Interpolation, bei der jede Zeile unabhängig von der Kalenderlücke als gleichmäßig verteilt behandelt wird.

Wie ffill() akzeptiert auch interpolate() einen Parameter limit, der festlegt, wie viele aufeinanderfolgende NaN-Positionen aufgefüllt werden. Verbleibende NaN-Werte jenseits dieses Limits bleiben fehlend. So wird verhindert, dass über sehr lange Lücken hinweg interpoliert wird, in denen der tatsächliche Wert beliebig sein könnte – lange Lücken sollten zur manuellen Prüfung markiert werden.

Imputation mit Mittelwert oder Median ist einfach, bringt aber wichtige Kompromisse mit sich. Der Mittelwert reagiert empfindlich auf Ausreißer – einige sehr große Werte ziehen ihn nach oben und machen ihn für eine rechtsschiefe Verteilung wie Einkommen oder Immobilienpreise zu einem schlechten Auffüllwert. Der Median ist robust gegenüber Ausreißern und die bessere Wahl für schiefe Spalten. Verwenden Sie den Mittelwert nur, wenn Ihre Daten ungefähr symmetrisch sind und keine extremen Ausreißer enthalten.

Bei der K-Nearest-Neighbour-(KNN-)Imputation wird ein fehlender Wert durch den Mittelwert (oder gewichteten Mittelwert) der k ähnlichsten Zeilen ersetzt. Die Ähnlichkeit wird anhand der Distanz über nicht fehlende Merkmale gemessen. Dies ist eine multivariate Strategie: Sie verwendet Informationen aus anderen Spalten, um den Ersatzwert zu bestimmen. Bei korrelierten Merkmalen ist sie dadurch genauer als eine einspaltige Mittelwert-Imputation.

Scikit-learn's KNNImputer lässt sich direkt mit NumPy-Arrays und Pandas-DataFrames verwenden.

Multiple Imputation gilt in der statistischen Forschung als Goldstandard für den Umgang mit fehlenden Daten. Scikit-learn's IterativeImputer implementiert einen MICE-Ansatz (Multiple Imputation by Chained Equations): Für jede Spalte mit fehlenden Werten wird ein Modell als Funktion der anderen Spalten erstellt, und die Imputation wird wiederholt, bis die Werte konvergieren. Dadurch werden Beziehungen zwischen Merkmalen besser erfasst als mit einspaltigen Strategien.

Anstatt die Tatsache zu verbergen, dass ein Wert imputiert wurde, empfiehlt es sich, eine binäre Indikatorspalte hinzuzufügen, die markiert, in welchen Zeilen vor der Imputation Werte fehlten. So können nachgelagerte Modelle aus dem Muster der fehlenden Werte selbst lernen – manchmal ist die Information, ob ein Wert fehlt, genauso aussagekräftig wie der Wert selbst.

Eine entscheidende Regel in Machine-Learning-Pipelines lautet: Berechnen Sie Imputationsstatistiken (Mittelwert, Median, Modus) nur auf dem Trainingsdatensatz und wenden Sie anschließend dieselben Werte auf den Testdatensatz an. Werden Statistiken vor der Aufteilung anhand des vollständigen Datensatzes berechnet, entsteht Data Leakage – das Modell sieht während des Trainings indirekt Testdaten, wodurch Leistungsschätzungen zu hoch ausfallen. Fitten Sie Imputer immer mit den Trainingsdaten und transformieren Sie sowohl Trainings- als auch Testdaten.

Vergleichen Sie nach der Anwendung mehrerer Imputationsmethoden deren Auswirkungen, indem Sie die Verteilungen der ursprünglichen und imputierten Spalten nebeneinander darstellen. Eine gute Imputation sollte die Form (Mittelwert, Varianz, Schiefe) der ursprünglichen Verteilung möglichst gut erhalten. Eine Mittelwert-Imputation verengt die Verteilung; KNN und MICE erhalten sie in der Regel besser.

Es gibt keine allgemein beste Imputationsstrategie – die richtige Wahl hängt vom Kontext ab. Verwenden Sie mean/median für einfache univariate Fälle mit wenigen fehlenden Werten. Verwenden Sie ffill/bfill für Zeitreihen mit stabilen Trends. Verwenden Sie KNN oder IterativeImputer, wenn Merkmale korreliert sind und Sie diese Beziehungen nutzen möchten. Verwenden Sie domänenspezifische Konstanten (z. B. 0 für nicht vorhanden, -1 für unbekannt), wenn der fehlende Wert eine eindeutige fachliche Bedeutung hat. Dokumentieren Sie Ihre Wahl immer.

Testen Sie Ihr Verständnis von Interpolation und fortgeschrittener Imputation.

In dieser Lektion haben Sie gelernt: interpolate() schätzt fehlende Werte, indem ein gleichmäßiger Trend zwischen bekannten Werten angenommen wird, method='time' verarbeitet ungleichmäßige Abstände in einem DatetimeIndex und fortgeschrittene Strategien wie KNNImputer und IterativeImputer nutzen andere Spalten, um Ersatzwerte zu bestimmen. Fügen Sie vor der Imputation immer Indikatorspalten hinzu und berechnen Sie Statistiken ausschließlich auf dem Trainingsdatensatz, um Data Leakage zu vermeiden. Als Nächstes untersuchen und konvertieren wir die Datentypen von DataFrame-Spalten.