تطبيع البيانات

يضمن تطبيع البيانات أن تكون جميع السمات في مجموعة البيانات على مقاييس متقاربة. ويُعد ذلك ضروريًا لخوارزميات مثل الانحدار المتدرج والنماذج القائمة على المسافة. سنستكشف في هذا الدرس تقنيات التقييس والتحجيم.

لماذا نطبع البيانات؟

يضمن التطبيع إسهام جميع السمات بالتساوي في النموذج. ومن دون التطبيع، يمكن للسمات ذات المقاييس الأكبر أن تهيمن على عملية التعلم.

مثال:

• ينبغي تحجيم العمر (0-100) والدخل (0-100,000) إلى نطاقات قابلة للمقارنة.

التقييس

يحوّل التقييس البيانات بحيث يكون متوسطها 0 وانحرافها المعياري 1. ويُحسب على النحو التالي:

z = (x - mean) / std_dev

يُعد التقييس مناسبًا لخوارزميات مثل الانحدار اللوجستي وSVM.

التحجيم بطريقة Min-Max

يضع التحجيم بطريقة Min-Max البيانات ضمن نطاق ثابت، عادةً [0, 1]. ويُحسب على النحو التالي:

x_scaled = (x - min) / (max - min)

تُستخدم هذه التقنية عندما يلزم حصر البيانات ضمن نطاق محدد.

تطبيع البيانات في Python (التقييس)

استخدموا StandardScaler من sklearn.preprocessing لتقييس البيانات.

مثال:

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

تطبيع البيانات في Python (التحجيم بطريقة Min-Max)

استخدموا MinMaxScaler من sklearn.preprocessing لتطبيق التحجيم بطريقة Min-Max.

مثال:

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

اختيار تقنية التطبيع

ضعوا النقاط التالية في الاعتبار عند اختيار التقنية:

• التقييس: استخدموه عندما تحتوي البيانات على قيم متطرفة.
• التحجيم بطريقة Min-Max: استخدموه عندما يلزم حصر السمات ضمن نطاق محدد.

مراجعة

في هذا الدرس، تعلّمت ما يلي:

• التوحيد القياسي: تحجيم البيانات بحيث يصبح متوسطها 0 وانحرافها المعياري 1.
• تحجيم الحد الأدنى والحد الأقصى: تحويل البيانات إلى نطاق ثابت.
• استخدام StandardScaler وMinMaxScaler في Python.

تهانينا!

لقد أكملتم درس تطبيع البيانات. تابعوا إلى الدرس التالي للتعرف على دمج البيانات في Python.