Håndtering av manglende data

Manglende data er vanlig i datasett og kan påvirke analysen og modellytelsen. I denne leksjonen utforsker vi teknikker for å identifisere og håndtere manglende verdier effektivt.

Du kan identifisere manglende data i Python ved hjelp av Pandas. Metoden isnull() oppdager manglende verdier i et datasett.

Eksempel:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Metoden isnull() kan kombineres med sum() for å telle manglende verdier i hver kolonne.

Eksempel:

print(df.isnull().sum())

Du kan fjerne rader eller kolonner med manglende data ved hjelp av metoden dropna().

Eksempel:

df_cleaned = df.dropna()

Bruk metoden fillna() til å erstatte manglende verdier med bestemte verdier, for eksempel et gjennomsnitt eller en median.

Eksempel:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Fyll inn manglende verdier ved å bruke verdiene før eller etter dem med method='ffill' eller method='bfill'.

Eksempel:

df['Age'] = df['Age'].fillna(method='ffill')

Ta hensyn til datasettet og målene for analysen når du håndterer manglende data:

• Bruk dropna() for rader med mange manglende verdier.
• Bruk fillna() med gjennomsnitt eller median for numeriske data.
• Bruk fremover- eller bakoverfylling for tidsseriedata.

I denne leksjonen har du lært hvordan du:

• Identifiserer manglende verdier ved hjelp av isnull().
• Teller manglende verdier med sum().
• Håndterer manglende data ved å fjerne eller fylle inn verdier.
• Velger riktig teknikk basert på datasettet ditt.

Du har fullført leksjonen om håndtering av manglende data. Fortsett til neste leksjon for å lære om teknikker for datanormalisering.