Fehlende Werte erkennen

In Pandas wird ein fehlender Wert in numerischen Spalten als NaN (Not a Number) und in Datetime-Spalten als None oder pd.NaT dargestellt. Fehlende Daten sind in realen Datensätzen häufig, weil Datensätze unvollständig sein können, Sensoren ausfallen oder Joins nicht zugeordneten Zeilen erzeugen können. Das Erkennen fehlender Werte ist immer der erste Schritt in einem Data-Cleaning-Workflow.

Pandas normalisiert None, float('nan') und numpy.nan in numerischen Spalten auf dieselbe interne NaN-Darstellung.

isna() und isnull() sind vollständig identisch – beide geben einen DataFrame oder eine Series mit derselben Form zurück, die überall dort True und an den übrigen Stellen False enthält, wo ein Wert fehlt. Pandas stellt beide Namen ausschließlich aus Gründen der persönlichen Präferenz bereit. Das Ergebnis kann direkt als boolesche Maske zum Filtern oder für weitere Berechnungen verwendet werden.

notna() (auch als notnull() bezeichnet) ist das Gegenteil von isna() – die Methode gibt dort True zurück, wo Werte vorhanden sind, und dort False, wo sie fehlen. Das ist nützlich, wenn Sie auf Zeilen filtern möchten, die in einer wichtigen Spalte einen Wert enthalten, etwa wenn ein Primärschlüssel oder eine Zielvariable nicht NaN sein darf.

Wenn Sie .isna().sum() auf einem DataFrame aufrufen, werden die True-Werte (die dem Wert 1 entsprechen) spaltenweise addiert. Dadurch erhalten Sie die Anzahl fehlender Werte pro Spalte. Das ist der wichtigste erste Schritt, um die Qualität eines neuen Datensatzes zu beurteilen – Sie sehen, welche Spalten Aufmerksamkeit benötigen.

Eine absolute Anzahl von NaN-Werten ist weniger aussagekräftig als der Prozentsatz fehlender Werte, da sie mit der Größe des Datensatzes skaliert. Wenn Sie isna().sum() durch die Gesamtzahl der Zeilen teilen (oder isna().mean() aufrufen), erhalten Sie den Anteil fehlender Werte, den Sie für einen Prozentsatz mit 100 multiplizieren können. Spalten mit mehr als 30–50 % fehlenden Werten erfordern häufig eine Entscheidung darüber, ob sie überhaupt beibehalten werden sollen.

Ein häufig verwendetes EDA-Muster ist eine Zusammenfassungstabelle fehlender Werte, die Anzahl, Prozentsatz und dtype für jede Spalte in einer Ansicht zeigt. Dadurch erhalten Sie ein vollständiges Bild der Datenqualität, bevor Sie Bereinigungsentscheidungen treffen. Sie können die Tabelle sortieren, um zuerst die problematischsten Spalten anzuzeigen.

Sie können fehlende Werte auch pro Zeile zählen, indem Sie isna().sum(axis=1) aufrufen. So lassen sich Datensätze identifizieren, die größtenteils leer sind (z. B. unvollständige Umfrageantworten) und die Sie möglicherweise als Ganzes markieren oder entfernen möchten. Eine Zeile mit vielen fehlenden Werten unterscheidet sich grundlegend von verstreut fehlenden Werten auf Spaltenebene.

Verwenden Sie df[df.isna().any(axis=1)], um Zeilen mit mindestens einem NaN-Wert zu finden, oder df[df.isna().all(axis=1)], um Zeilen zu finden, in denen jeder Wert NaN ist. Mit diesen Filtern können Sie problematische Datensätze zur Prüfung isolieren, bevor Sie entscheiden, wie damit verfahren werden soll.

Für eine schnelle Plausibilitätsprüfung einer einzelnen Spalte rufen Sie df['col'].isna().sum() auf oder verwenden Sie df['col'].isna().any(), um einen einzelnen booleschen Wert zu erhalten (True, wenn irgendein NaN vorhanden ist). Diese Einzeiler eignen sich für Datenvalidierungsprüfungen oder Protokollanweisungen in einer Pipeline.

Bei Datensätzen mit vielen Spalten ist eine Heatmap fehlender Werte aussagekräftiger als eine Zahlentabelle. Mit Seaborn können Sie eine solche Heatmap einfach erstellen: Je dunkler eine Zelle ist, desto mehr fehlende Daten enthält die betreffende Kombination aus Spalte und Zeile. Die beliebte Drittanbieterbibliothek missingno bietet spezielle Visualisierungen für fehlende Werte.

df.info() gibt eine kompakte Zusammenfassung aus, die für jede Spalte die Anzahl nicht nuller Werte enthält. Das ist der schnellste Weg, um fehlende Werte in einem neuen Datensatz zu erkennen: Jede Spalte, deren Anzahl nicht nuller Werte kleiner als die Gesamtzahl der Zeilen ist, enthält NaN-Werte. Außerdem werden dtype und Speicherverbrauch angezeigt.

In dieser Lektion haben Sie gelernt: isna() und isnull() sind identisch und geben boolesche Masken der Positionen fehlender Werte zurück, isna().sum() zählt NaN pro Spalte, und isna().mean()*100 liefert den Prozentsatz fehlender Werte. Verwenden Sie df.info() für einen schnellen Überblick und isna().any(axis=1), um Zeilen mit mindestens einem NaN zu finden. Als Nächstes beschäftigen Sie sich mit dem Entfernen fehlender Werte mithilfe von dropna().