Ontbrekende gegevens verwerken

Ontbrekende gegevens komen vaak voor in gegevenssets en kunnen de analyse en modelprestaties beïnvloeden. In deze les bekijken we technieken om ontbrekende waarden effectief te herkennen en te verwerken.

Je kunt ontbrekende gegevens in Python herkennen met Pandas. De methode isnull() detecteert ontbrekende waarden in een gegevensset.

Voorbeeld:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Je kunt de methode isnull() combineren met sum() om ontbrekende waarden in elke kolom te tellen.

Voorbeeld:

print(df.isnull().sum())

Je kunt rijen of kolommen met ontbrekende gegevens verwijderen met de methode dropna().

Voorbeeld:

df_cleaned = df.dropna()

Gebruik de methode fillna() om ontbrekende waarden te vervangen door specifieke waarden, zoals een gemiddelde of mediaan.

Voorbeeld:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Vul ontbrekende waarden in met de waarden ervoor of erna, met method='ffill' of method='bfill'.

Voorbeeld:

df['Age'] = df['Age'].fillna(method='ffill')

Houd bij het verwerken van ontbrekende gegevens rekening met de gegevensset en de analysedoelen:

• Gebruik dropna() voor rijen met veel ontbrekende waarden.
• Gebruik fillna() met het gemiddelde of de mediaan voor numerieke gegevens.
• Gebruik voorwaarts of achterwaarts invullen voor tijdreeksgegevens.

In deze les heb je geleerd hoe je:

• Ontbrekende waarden herkent met isnull().
• Ontbrekende waarden telt met sum().
• Met ontbrekende gegevens omgaat door waarden te verwijderen of in te vullen.
• De juiste techniek kiest op basis van je gegevensset.

Je hebt de les over het omgaan met ontbrekende gegevens voltooid. Ga door naar de volgende les om meer te leren over technieken voor gegevensnormalisatie.