Hitta NaN-värdena som döljer sig i tabellen

Verkliga dataset är fulla av luckor. Innan någon analys behöver ni veta var saknade värden finns, eftersom de i det tysta snedvrider varje resultat ni litar på. 🔎

I pandas visas en tom cell vanligtvis som NaN, en förkortning av Not a Number. Det är standardmarkören för ett värde som helt enkelt saknas.

En vanlig fälla är att behandla NaN som om det vore 0. Noll är en verklig mätning, medan NaN betyder att ni inte har någon mätning alls. De berättar helt olika historier.

Metoden isna() returnerar en tabell med True och False, en flagga per cell, som exakt markerar var värden saknas i hela DataFrame-objektet.

Utvärdera isna().sum() för att räkna saknade celler i alla kolumner samtidigt. True räknas som 1, så varje totalsumma anger antalet luckor i kolumnen.

Vill du ha en totalsumma för alla luckor i tabellen? Lägg till ytterligare en sum() för att slå ihop kolumnernas totalsummor till ett enda tal.

Råa antal kan bli missvisande i stora tabeller. Dividera med len(df) för att se hur stor andel av varje kolumn som saknas, vilket hjälper dig att avgöra hur allvarligt du bör agera.

Motsatsen till isna är notna(), som markerar celler som faktiskt innehåller ett värde. Det är praktiskt när du bara vill behålla fullständiga rader.

En heatmap av isna() omvandlar luckor till en bild, så att kluster av saknade rader eller kolumner syns mycket snabbare än när du granskar tal.

Om du vill granska problemrader filtrerar du efter rader där any värde saknas. Då ser du exakt vilka poster som behöver åtgärdas.

Genom att kartlägga saknade värden innan du åtgärdar något förblir analysen objektiv. Du bestämmer hur luckorna ska hanteras utifrån evidence, inte utifrån en gissning om hur allvarliga de är.

Nu kan du hitta saknade data med isna, räkna dem per kolumn, visa dem i procent och kartlägga dem visuellt. Att se luckorna är det första steget mot att åtgärda dem.