تنظيف البيانات ومعالجتها مسبقًا

غالبًا ما تكون البيانات الأولية غير منظمة، وتحتاج إلى التنظيف والمعالجة المسبقة قبل تحليلها. وتُعد هذه الخطوات ضرورية لضمان جودة تحليلكم ودقته.

في هذا الدرس، ستتعلمون تقنيات معالجة البيانات المفقودة وإزالة التكرارات وإعداد البيانات للتحليل.

ما تنظيف البيانات؟

يتضمن تنظيف البيانات اكتشاف الأخطاء في مجموعة البيانات وإصلاحها. وتشمل المهام الشائعة ما يلي:

• معالجة القيم المفقودة.
• إزالة التكرارات.
• توحيد التنسيقات.

معالجة البيانات المفقودة

قد تحدث البيانات المفقودة لأسباب مختلفة. ويمكنكم معالجتها من خلال:

• ملء القيم المفقودة بقيمة افتراضية أو بالمتوسط أو الوسيط.
• حذف الصفوف أو الأعمدة التي تحتوي على عدد كبير جدًا من القيم المفقودة.

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

إزالة التكرارات

قد تؤدي البيانات المكررة إلى تحريف تحليلكم. استخدموا Pandas لإزالة التكرارات:

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

توحيد البيانات

يضمن توحيد البيانات الاتساق. فعلى سبيل المثال، يمكنكم توحيد تنسيقات التواريخ أو حالة الأحرف في النص:

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

تحويل البيانات

تُعد التحويلات مثل تغيير المقياس والترميز جزءًا من المعالجة المسبقة:

• تغيير المقياس: توحيد القيم العددية.
• الترميز: تحويل البيانات الفئوية إلى صيغة عددية.

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

تحجيم البيانات

يضمن التحجيم أن تكون البيانات الرقمية على المقياس نفسه، وهذا أمر ضروري لخوارزميات التعلم الآلي:

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

التحقق من صحة البيانات

يضمن التحقق من الصحة استيفاء البيانات لمعايير الجودة. فعلى سبيل المثال، تحقّقوا من القيم الشاذة أو القيم غير الصالحة:

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

الأخطاء الشائعة في تنظيف البيانات

إليكم بعض الأخطاء التي ينبغي تجنّبها:

• تجاهل البيانات المفقودة، مما يؤدي إلى تحليل غير دقيق.
• عدم توحيد التنسيقات، مما يسبب عدم الاتساق.
• إغفال التحقق من الصحة، مما يؤدي إلى حدوث أخطاء في المهام اللاحقة.

ماذا تعلّمنا؟

في هذا الدرس، تعلّمتم:

• كيفية التعامل مع البيانات المفقودة وإزالة التكرارات.
• كيفية توحيد البيانات وتحويلها وتحجيمها لأغراض التحليل.
• كيفية التحقق من جودة البيانات وتحديد القيم الشاذة.
• أهمية تنظيف البيانات للحصول على تحليل دقيق.

أحسنتم! لننتقل إلى الموضوع التالي.