دوال التنشيط

تُعد دوال التنشيط جزءًا أساسيًا من الشبكات العصبية. فهي تحدد ما إذا كان ينبغي تنشيط العصبون استنادًا إلى الإدخال الذي يتلقاه.

من دون دوال التنشيط، ستتصرف الشبكة العصبية كنموذج خطي، مما يحدّ من قدرتها على تعلّم الأنماط المعقدة.

أنواع دوال التنشيط

تشمل الأنواع الشائعة من دوال التنشيط ما يلي:

• Sigmoid: تُخرج قيمًا تتراوح بين 0 و1.
• ReLU (Rectified Linear Unit): تُخرج قيمة الإدخال إذا كانت موجبة، وإلا فتُخرج 0.
• Softmax: تحوّل المخرجات إلى احتمالات لمهام التصنيف.

دالة Sigmoid

تحوّل دالة Sigmoid أي قيمة إدخال إلى نطاق يتراوح بين 0 و1، مما يجعلها مناسبة للتصنيف الثنائي.

الصيغة:

σ(x) = 1 / (1 + e^(-x))

تضغط قيم الإدخال الكبيرة وتُخرج قيمًا قريبة من 0 أو 1.

دالة ReLU

تُعرَّف دالة ReLU (Rectified Linear Unit) كما يلي:

ReLU(x) = max(0, x)

تُخرج 0 لقيم الإدخال السالبة، وقيمة الإدخال نفسها لقيم الإدخال الموجبة. تتميز ReLU بالكفاءة الحسابية وتساعد على معالجة مشكلة تلاشي التدرج.

دالة Softmax

تُستخدم دالة Softmax في طبقة الإخراج للتصنيف متعدد الفئات. فهي تحوّل الدرجات الأولية إلى احتمالات:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

تُطبَّع جميع قيم المخرجات بحيث يكون مجموعها 1.

اختيار دالة التنشيط المناسبة

يعتمد اختيار دالة التنشيط على المهمة:

• Sigmoid: للتصنيف الثنائي.
• ReLU: للطبقات المخفية في الشبكات العميقة.
• Softmax: لمسائل التصنيف متعدد الفئات.

مزايا دوال التنشيط

تمكّن دوال التنشيط الشبكات العصبية من:

• تعلّم الأنماط المعقدة وغير الخطية.
• التمييز بين المدخلات بفاعلية.
• التكيّف مع أنواع مختلفة من البيانات والمهام.

تحديات دوال التنشيط

تشمل بعض المشكلات ما يلي:

• Sigmoid: قد تتسبب في تلاشي التدرجات أثناء التدريب.
• ReLU: قد تؤدي إلى ظهور «عصبونات ميتة» تتوقف فيها بعض العصبونات عن التعلّم.
• Softmax: تتطلب تكلفة حسابية مرتفعة عند التعامل مع مخرجات كبيرة.

الملخص والخطوات التالية

في هذا الدرس، قمنا بما يلي:

• استكشفنا دوال التنشيط مثل Sigmoid وReLU وSoftmax.
• تعلّمنا أدوارها وحالات استخدامها في الشبكات العصبية.
• ناقشنا مزاياها وتحدياتها.

بعد ذلك، سنبني شبكة عصبية بسيطة ذات تغذية أمامية ونتعرّف على بنيتها وطريقة عملها.