معالجة البيانات المفقودة

تشيع البيانات المفقودة في مجموعات البيانات، وقد تؤثر في التحليل وأداء النماذج. في هذا الدرس، سنستكشف تقنيات تحديد القيم المفقودة ومعالجتها بفاعلية.

تحديد البيانات المفقودة

يمكنكم تحديد البيانات المفقودة في Python باستخدام Pandas. وتكتشف الطريقة isnull() القيم المفقودة في مجموعة البيانات.

مثال:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

حساب القيم المفقودة

يمكن دمج الطريقة isnull() مع sum() لحساب القيم المفقودة في كل عمود.

مثال:

print(df.isnull().sum())

حذف البيانات المفقودة

يمكنك إزالة الصفوف أو الأعمدة التي تحتوي على بيانات مفقودة باستخدام الطريقة dropna().

مثال:

df_cleaned = df.dropna()

ملء البيانات المفقودة

استخدموا الطريقة fillna() لاستبدال القيم المفقودة بقيم محددة، مثل المتوسط أو الوسيط.

مثال:

df['Age'] = df['Age'].fillna(df['Age'].mean())

الملء الأمامي والخلفي

املأ القيم المفقودة باستخدام القيم التي تسبقها أو تليها، وذلك من خلال method='ffill' أو method='bfill'.

مثال:

df['Age'] = df['Age'].fillna(method='ffill')

اختيار التقنية المناسبة

ضع مجموعة البيانات وأهداف التحليل في الاعتبار عند معالجة البيانات المفقودة:

• استخدم dropna() للصفوف التي تحتوي على عدد كبير من القيم المفقودة.
• استخدم fillna() مع المتوسط أو الوسيط للبيانات العددية.
• استخدم الملء الأمامي أو الخلفي لبيانات السلاسل الزمنية.

مراجعة

في هذا الدرس، تعلّمت كيفية:

• تحديد القيم المفقودة باستخدام isnull().
• حساب عدد القيم المفقودة باستخدام sum().
• معالجة البيانات المفقودة بحذف القيم أو ملئها.
• اختيار التقنية المناسبة بناءً على مجموعة البيانات.

تهانينا!

لقد أكملتم درس التعامل مع البيانات المفقودة. تابعوا إلى الدرس التالي للتعرف على تقنيات تطبيع البيانات.