Die verborgenen NaNs in Ihrer Tabelle finden

Reale Datensätze enthalten viele Lücken. Vor jeder Analyse müssen Sie wissen, wo sich fehlende Werte verbergen, denn sie verzerren stillschweigend jedes Ergebnis, dem Sie vertrauen. 🔎

In pandas wird eine leere Zelle normalerweise als NaN angezeigt, kurz für Not a Number. Dies ist das Standardkennzeichen für einen Wert, der einfach nicht vorhanden ist.

Eine häufige Falle: NaN so zu behandeln, als wäre es 0. Null ist eine echte Messung, während NaN bedeutet, dass überhaupt keine Messung vorliegt. Beide Werte erzählen sehr unterschiedliche Geschichten.

Die Methode isna() gibt eine Tabelle aus True und False zurück – ein Kennzeichen pro Zelle –, die genau markiert, wo in Ihrem gesamten DataFrame Werte fehlen.

Verketten Sie isna().sum(), um die fehlenden Zellen in jeder Spalte gleichzeitig zu zählen. True zählt als 1, daher entspricht jede Summe der Anzahl der Lücken in dieser Spalte.

Sie möchten eine Gesamtsumme aller Lücken in der Tabelle? Fügen Sie ein weiteres sum() hinzu, um die Zählungen pro Spalte zu einer einzigen Zahl zusammenzufassen.

Rohzählungen können bei großen Tabellen irreführend sein. Teilen Sie durch len(df), um den Anteil fehlender Werte pro Spalte zu sehen. Das hilft Ihnen einzuschätzen, wie Sie damit umgehen sollten.

Das Gegenteil von isna ist notna(). Damit werden Zellen gekennzeichnet, die tatsächlich einen Wert enthalten. Das ist hilfreich, wenn Sie nur vollständige Zeilen behalten möchten.

Eine Heatmap von isna() macht Lücken sichtbar, sodass Ansammlungen fehlender Zeilen oder Spalten viel schneller auffallen als beim Durchgehen von Zahlen.

Um problematische Zeilen zu untersuchen, filtern Sie nach Zeilen, in denen any Wert fehlt. So sehen Sie genau, welche Datensätze Aufmerksamkeit benötigen.

Wenn Sie fehlende Werte erfassen, bevor Sie etwas korrigieren, bleiben Sie objektiv. Sie entscheiden anhand von Belegen, wie Sie mit Lücken umgehen, statt ihre Auswirkungen zu erraten.

Sie können jetzt fehlende Daten mit isna finden, pro Spalte zählen, als Prozentsatz anzeigen und visuell erfassen. Die Lücken zu sehen, ist der erste Schritt, um sie zu beheben.