التحليل الاستكشافي للبيانات (EDA)

يُعد التحليل الاستكشافي للبيانات (EDA) خطوة أساسية في سير عمل علم البيانات. ويتضمن تلخيص البيانات وتصورها وفهمها لاكتشاف الأنماط والعلاقات والرؤى.

في هذا الدرس، ستتعلّمون تقنيات إجراء التحليل الاستكشافي للبيانات باستخدام مكتبات Python مثل Pandas وMatplotlib.

ما هو EDA؟

يساعدكم EDA على:

• فهم بنية البيانات وخصائصها.
• تحديد الأنماط والاتجاهات والقيم الشاذة.
• تحديد كيفية المعالجة المسبقة للبيانات لمواصلة التحليل أو بناء النماذج.

تلخيص البيانات باستخدام Pandas

توفر Pandas دوالً لإنشاء الإحصاءات الوصفية وتلخيص مجموعات البيانات:

# Example: Summarizing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35], 'Salary': [50000, 60000, 70000]}
df = pd.DataFrame(data)
print(df.describe())

تصور البيانات باستخدام Matplotlib

Matplotlib مكتبة قوية لإنشاء التصورات. استخدموها لإنشاء المخططات والرسوم البيانية من أجل EDA.

# Example: Plotting data
import matplotlib.pyplot as plt

x = ['Alice', 'Bob', 'Charlie']
y = [50000, 60000, 70000]
plt.bar(x, y)
plt.title('Salaries')
plt.show()

تحديد البيانات المفقودة

تسهّل Pandas اكتشاف القيم المفقودة في مجموعة البيانات:

# Example: Identifying missing data
data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 35]}
df = pd.DataFrame(data)
print(df.isnull().sum())

تحليل الارتباط

يقيس الارتباط العلاقة بين المتغيرات الرقمية. استخدموا Pandas لحساب مصفوفات الارتباط:

# Example: Correlation analysis
print(df.corr())

تصور التوزيعات

يُعد فهم توزيع البيانات أمرًا أساسيًا في EDA. استخدموا المدرجات التكرارية لتصور التوزيعات:

# Example: Visualizing distributions
import seaborn as sns
sns.histplot(df['Salary'])
plt.show()

اكتشاف القيم الشاذة

قد تؤثر القيم الشاذة في التحليل. وتُعد مخططات الصندوق مفيدة لاكتشاف القيم الشاذة:

# Example: Detecting outliers
sns.boxplot(x=df['Salary'])
plt.show()

الأخطاء الشائعة في EDA

إليكم بعض الأخطاء التي ينبغي تجنّبها:

• تخطّي التصورات والاعتماد على الملخصات الرقمية وحدها.
• تجاهل البيانات المفقودة والقيم الشاذة.
• عدم استكشاف العلاقات بين المتغيرات.

ماذا تعلّمنا؟

في هذا الدرس، تعلّمتم:

• أهمية التحليل الاستكشافي للبيانات (EDA).
• كيفية تلخيص البيانات باستخدام Pandas.
• كيفية تصور توزيعات البيانات والقيم الشاذة والارتباطات باستخدام Matplotlib وSeaborn.
• الأخطاء الشائعة التي ينبغي تجنّبها أثناء إجراء EDA.

أحسنتم! لننتقل إلى الموضوع التالي.