دوال التنشيط

تُعد دوال التنشيط جزءًا أساسيًا من الشبكات العصبية. فهي تحدد ما إذا كان ينبغي تنشيط العصبون استنادًا إلى المدخل الذي يستقبله.

من دون دوال التنشيط، ستتصرف الشبكة العصبية كنموذج خطي، مما يحد من قدرتها على تعلم الأنماط المعقدة.

أنواع دوال التنشيط

تشمل الأنواع الشائعة لدوال التنشيط ما يلي:

• Sigmoid: تنتج قيمًا بين 0 و1.
• ReLU (Rectified Linear Unit): تنتج المدخل إذا كان موجبًا، وإلا فتنتج 0.
• Softmax: تحوّل المخرجات إلى احتمالات لمهام التصنيف.

دالة Sigmoid

تُحوّل دالة Sigmoid أي قيمة إدخال إلى نطاق بين 0 و1، مما يجعلها مناسبة للتصنيف الثنائي.

الصيغة:

σ(x) = 1 / (1 + e^(-x))

تضغط المدخلات الكبيرة وتنتج قيمًا قريبة من 0 أو 1.

دالة ReLU

تُعرَّف دالة ReLU (Rectified Linear Unit) كما يلي:

ReLU(x) = max(0, x)

تنتج 0 للمدخلات السالبة وقيمة الإدخال نفسها للمدخلات الموجبة. وتتميز ReLU بالكفاءة الحسابية وتساعد على معالجة مشكلة تلاشي التدرج.

دالة Softmax

تُستخدم دالة Softmax في طبقة الإخراج لمهام التصنيف متعدد الفئات. وتحول الدرجات الأولية إلى احتمالات:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

تُطبَّع جميع قيم الإخراج بحيث يكون مجموعها 1.

اختيار دالة التنشيط المناسبة

يعتمد اختيار دالة التنشيط على المهمة:

• Sigmoid: للتصنيف الثنائي.
• ReLU: للطبقات المخفية في الشبكات العميقة.
• Softmax: لمسائل التصنيف متعدد الفئات.

مزايا دوال التنشيط

تمكّن دوال التنشيط الشبكات العصبية من:

• تعلّم الأنماط المعقدة وغير الخطية.
• التمييز بفعالية بين المدخلات.
• التكيف مع أنواع مختلفة من البيانات والمهام.

التحديات المرتبطة بدوال التنشيط

تشمل بعض المشكلات ما يلي:

• Sigmoid: قد تسبب تلاشي التدرجات أثناء التدريب.
• ReLU: قد تؤدي إلى «عصبونات ميتة» تتوقف فيها بعض العصبونات عن التعلم.
• Softmax: مرتفعة التكلفة الحسابية عند التعامل مع مخرجات كبيرة.

الملخص والخطوات التالية

استكشفنا في هذا الدرس ما يلي:

• دوال التنشيط مثل Sigmoid وReLU وSoftmax.
• أدوارها وحالات استخدامها في الشبكات العصبية.
• مزاياها والتحديات المرتبطة بها.

بعد ذلك، سنبني شبكة عصبية أمامية التغذية بسيطة ونتعرّف على بنيتها وآلية عملها.