Obsługa brakujących danych

Brakujące dane są częste w zbiorach danych i mogą wpływać na analizę oraz działanie modelu. W tej lekcji omówimy techniki skutecznego wykrywania i obsługi brakujących wartości.

Wykrywanie brakujących danych

Brakujące dane można wykrywać w Pythonie za pomocą Pandas. Metoda isnull() wykrywa brakujące wartości w zbiorze danych.

Przykład:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Zliczanie brakujących wartości

Metodę isnull() można połączyć z funkcją sum(), aby zliczyć brakujące wartości w każdej kolumnie.

Przykład:

print(df.isnull().sum())

Usuwanie brakujących danych

Za pomocą metody dropna() można usuwać wiersze lub kolumny zawierające brakujące dane.

Przykład:

df_cleaned = df.dropna()

Uzupełnianie brakujących danych

Metoda fillna() służy do zastępowania brakujących wartości określonymi wartościami, takimi jak średnia lub mediana.

Przykład:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Uzupełnianie w przód i wstecz

Brakujące wartości można uzupełniać wartościami znajdującymi się przed nimi lub po nich za pomocą method='ffill' albo method='bfill'.

Przykład:

df['Age'] = df['Age'].fillna(method='ffill')

Wybór odpowiedniej techniki

Podczas obsługi brakujących danych należy uwzględnić zbiór danych i cele analizy:

• Użyj dropna() w przypadku wierszy z wieloma brakującymi wartościami.
• Użyj fillna() ze średnią lub medianą dla danych liczbowych.
• W przypadku danych szeregów czasowych użyj uzupełniania w przód lub wstecz.

Podsumowanie

W tej lekcji dowiedzieli się Państwo, jak:

• Wykrywać brakujące wartości za pomocą isnull().
• Zliczać brakujące wartości za pomocą sum().
• Obsługiwać brakujące dane przez usuwanie lub uzupełnianie wartości.
• Wybierać odpowiednią technikę na podstawie zbioru danych.

Gratulacje!

Ukończyli Państwo lekcję dotyczącą obsługi brakujących danych. Przejdź do następnej lekcji, aby poznać techniki normalizacji danych.