Obsługa brakujących danych

Brakujące dane są częstym zjawiskiem w zbiorach danych i mogą negatywnie wpływać na analizę oraz działanie modeli. W tej lekcji omówiono techniki skutecznego wykrywania brakujących wartości i radzenia sobie z nimi.

Wykrywanie brakujących danych

Brakujące dane można wykrywać w języku Python za pomocą biblioteki Pandas. Metoda isnull() wykrywa brakujące wartości w zbiorze danych.

Przykład:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Zliczanie brakujących wartości

Metodę isnull() można połączyć z metodą sum(), aby zliczyć brakujące wartości w każdej kolumnie.

Przykład:

print(df.isnull().sum())

Usuwanie brakujących danych

Wiersze lub kolumny zawierające brakujące dane można usunąć za pomocą metody dropna().

Przykład:

df_cleaned = df.dropna()

Uzupełnianie brakujących danych

Użyj metody fillna(), aby zastąpić brakujące wartości określonymi wartościami, takimi jak średnia lub mediana.

Przykład:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Uzupełnianie w przód i wstecz

Brakujące wartości można uzupełnić wartościami znajdującymi się przed nimi lub po nich, używając method='ffill' albo method='bfill'.

Przykład:

df['Age'] = df['Age'].fillna(method='ffill')

Wybór odpowiedniej techniki

Podczas obsługi brakujących danych należy uwzględnić zbiór danych i cele analizy:

• Użyj dropna() w przypadku wierszy zawierających wiele brakujących wartości.
• Użyj fillna() ze średnią lub medianą dla danych liczbowych.
• W przypadku danych szeregów czasowych użyj uzupełniania w przód lub wstecz.

Podsumowanie

W tej lekcji omówiono, jak:

• Identyfikować brakujące wartości za pomocą isnull().
• Zliczać brakujące wartości za pomocą sum().
• Obsługiwać brakujące dane przez usuwanie lub uzupełnianie wartości.
• Wybierać odpowiednią technikę na podstawie zbioru danych.

Gratulacje!

Ukończyli Państwo lekcję dotyczącą obsługi brakujących danych. Proszę przejść do następnej lekcji, aby poznać techniki normalizacji danych.