Работа с пропущенными данными

Пропущенные данные часто встречаются в наборах данных и могут влиять на результаты анализа и производительность модели. На этом уроке мы рассмотрим методы эффективного выявления и обработки пропущенных значений.

Выявление пропущенных данных

Вы можете выявлять пропущенные данные в Python с помощью Pandas. Метод isnull() обнаруживает пропущенные значения в наборе данных.

Пример:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Подсчёт пропущенных значений

Метод isnull() можно объединить с sum(), чтобы подсчитать пропущенные значения в каждом столбце.

Пример:

print(df.isnull().sum())

Удаление пропущенных данных

Вы можете удалить строки или столбцы с пропущенными данными с помощью метода dropna().

Пример:

df_cleaned = df.dropna()

Заполнение пропущенных данных

Используйте метод fillna(), чтобы заменить пропущенные значения определёнными значениями, например средним значением или медианой.

Пример:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Заполнение вперёд и назад

Заполняйте пропущенные значения значениями до или после них с помощью method='ffill' или method='bfill'.

Пример:

df['Age'] = df['Age'].fillna(method='ffill')

Выбор подходящего метода

При работе с пропущенными данными учитывайте набор данных и цели анализа:

• Используйте dropna() для строк с большим количеством пропущенных значений.
• Используйте fillna() со средним значением или медианой для числовых данных.
• Используйте заполнение вперёд или назад для данных временных рядов.

Повторение

На этом уроке вы узнали, как:

• выявлять пропущенные значения с помощью isnull();
• подсчитывать пропущенные значения с помощью sum();
• обрабатывать пропущенные данные, удаляя или заполняя значения;
• выбирать подходящий метод на основе набора данных.

Поздравляем!

Вы завершили урок о работе с пропущенными данными. Перейдите к следующему уроку, чтобы узнать о методах нормализации данных.