تطبيع البيانات

يضمن تطبيع البيانات أن تكون لجميع السمات في مجموعة البيانات مقاييس متقاربة. وهذا أمر بالغ الأهمية لخوارزميات مثل الانحدار المتدرج والنماذج القائمة على المسافة. في هذا الدرس، سنستكشف تقنيات التوحيد القياسي والتحجيم.

لماذا نطبّع البيانات؟

يضمن التطبيع إسهام جميع السمات بالقدر نفسه في النموذج. ومن دون التطبيع، يمكن للسمات ذات المقاييس الأكبر أن تهيمن على عملية التعلم.

مثال:

• ينبغي تحجيم العمر (0-100) والدخل (0-100,000) إلى نطاقات متقاربة.

التوحيد القياسي

يحوّل التوحيد القياسي البيانات بحيث يكون متوسطها 0 وانحرافها المعياري 1. ويُحسب كما يلي:

z = (x - mean) / std_dev

يُعد التوحيد القياسي مثاليًا لخوارزميات مثل الانحدار اللوجستي وSVM.

تحجيم الحد الأدنى والأقصى

يُحجّم تحجيم الحد الأدنى والأقصى البيانات إلى نطاق ثابت، ويكون عادةً [0, 1]. ويُحسب كما يلي:

x_scaled = (x - min) / (max - min)

تُستخدم هذه التقنية عندما تكون الحاجة إلى حصر البيانات ضمن نطاق محدد.

التطبيع في Python (التوحيد القياسي)

استخدم StandardScaler من sklearn.preprocessing لتوحيد البيانات قياسيًا.

مثال:

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

التطبيع في Python (التحجيم بنطاق Min-Max)

استخدم MinMaxScaler من sklearn.preprocessing لتطبيق التحجيم بنطاق Min-Max.

مثال:

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

اختيار أسلوب التطبيع

ضع الأمور التالية في الاعتبار عند اختيار الأسلوب:

• التوحيد القياسي: استخدمه عندما تحتوي البيانات على قيم شاذة.
• التحجيم بنطاق Min-Max: استخدمه عندما تحتاج السمات إلى أن تكون ضمن نطاق محدد.

مراجعة

في هذا الدرس، تعلّمت ما يلي:

• التوحيد القياسي: تحجيم البيانات بحيث يكون متوسطها 0 وانحرافها المعياري 1.
• التحجيم بنطاق Min-Max: تحويل البيانات إلى نطاق ثابت.
• استخدام StandardScaler وMinMaxScaler في Python.

تهانينا!

لقد أتممت درس تطبيع البيانات. تابع إلى الدرس التالي لتتعلم عن دمج البيانات في Python.