Работа с пропущенными данными

Пропущенные данные часто встречаются в наборах данных и могут влиять на результаты анализа и производительность модели. В этом уроке Вы изучите методы эффективного выявления и обработки пропущенных значений.

Выявление пропущенных данных

Вы можете выявлять пропущенные данные в Пайтоне с помощью библиотеки для работы с данными. Метод isnull() обнаруживает пропущенные значения в наборе данных.

Пример:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Подсчёт пропущенных значений

Метод isnull() можно объединить с sum(), чтобы подсчитать пропущенные значения в каждом столбце.

Пример:

print(df.isnull().sum())

Удаление пропущенных данных

Вы можете удалить строки или столбцы с пропущенными данными с помощью метода dropna().

Пример:

df_cleaned = df.dropna()

Заполнение пропущенных данных

Используйте метод fillna(), чтобы заменить пропущенные значения определёнными значениями, например средним или медианным.

Пример:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Заполнение вперёд и назад

Заполняйте пропущенные значения значениями, расположенными до или после них, с помощью method='ffill' или method='bfill'.

Пример:

df['Age'] = df['Age'].fillna(method='ffill')

Выбор подходящего метода

При работе с пропущенными данными учитывайте набор данных и цели анализа:

• Используйте dropna() для строк с большим количеством пропущенных значений.
• Используйте fillna() со средним значением или медианой для числовых данных.
• Используйте заполнение вперёд или назад для данных временных рядов.

Итоги

В этом уроке Вы научились:

• Выявлять пропущенные значения с помощью isnull().
• Подсчитывать пропущенные значения с помощью sum().
• Обрабатывать пропущенные данные, удаляя или заполняя значения.
• Выбирать подходящий метод на основе набора данных.

Поздравляем!

Вы завершили урок об обработке пропущенных данных. Переходите к следующему уроку, чтобы узнать о методах нормализации данных.