التعامل مع البيانات المفقودة

تُعد البيانات المفقودة شائعة في مجموعات البيانات، ويمكن أن تؤثر في التحليل وأداء النموذج. في هذا الدرس، سنستكشف تقنيات تحديد القيم المفقودة ومعالجتها بفاعلية.

تحديد البيانات المفقودة

يمكنكم تحديد البيانات المفقودة في Python باستخدام Pandas. تكتشف الطريقة isnull() القيم المفقودة في مجموعة البيانات.

مثال:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

عدّ القيم المفقودة

يمكن دمج الطريقة isnull() مع sum() لعدّ القيم المفقودة في كل عمود.

مثال:

print(df.isnull().sum())

حذف البيانات المفقودة

يمكنكم إزالة الصفوف أو الأعمدة التي تحتوي على بيانات مفقودة باستخدام الطريقة dropna().

مثال:

df_cleaned = df.dropna()

ملء البيانات المفقودة

استخدموا الطريقة fillna() لاستبدال القيم المفقودة بقيم محددة، مثل المتوسط أو الوسيط.

مثال:

df['Age'] = df['Age'].fillna(df['Age'].mean())

الملء الأمامي والخلفي

املؤوا القيم المفقودة باستخدام القيم التي تسبقها أو تليها، وذلك باستخدام method='ffill' أو method='bfill'.

مثال:

df['Age'] = df['Age'].fillna(method='ffill')

اختيار التقنية المناسبة

ضعوا مجموعة البيانات وأهداف التحليل في الاعتبار عند التعامل مع البيانات المفقودة:

• استخدموا dropna() للصفوف التي تحتوي على عدد كبير من القيم المفقودة.
• استخدموا fillna() مع المتوسط أو الوسيط للبيانات العددية.
• استخدموا الملء الأمامي أو الخلفي لبيانات السلاسل الزمنية.

مراجعة

تعلمتم في هذا الدرس كيفية:

• تحديد القيم المفقودة باستخدام isnull().
• عدّ القيم المفقودة باستخدام sum().
• معالجة البيانات المفقودة بحذف القيم أو ملئها.
• اختيار التقنية المناسبة بناءً على مجموعة البيانات.

تهانينا!

لقد أتممتم درس التعامل مع البيانات المفقودة. تابعوا إلى الدرس التالي لتتعلموا تقنيات تطبيع البيانات.