خوارزمية الانتشار العكسي

الانتشار العكسي خوارزمية أساسية تُستخدم لتدريب الشبكات العصبية. وتحسب تدرّج دالة الخسارة بالنسبة إلى كل وزن من خلال نشر الأخطاء إلى الخلف عبر الشبكة.

الخطوات الأساسية للانتشار العكسي

تتضمن عملية الانتشار العكسي ما يلي:

1. التمرير الأمامي: حساب المخرج والخسارة.
2. التمرير العكسي: حساب تدرج دالة الخسارة بالنسبة إلى الأوزان والانحيازات.
3. تحديث الأوزان: ضبط الأوزان باستخدام خوارزمية تحسين مثل الانحدار المتدرج.

دالة الخسارة

تحدد دالة الخسارة مقدار الفرق بين القيم المتنبأ بها والقيم الفعلية. وتشمل دوال الخسارة الشائعة ما يلي:

• متوسط مربع الخطأ (MSE): لمهام الانحدار.
• خسارة الإنتروبيا المتقاطعة: لمهام التصنيف.

الانحدار المتدرج

الانحدار المتدرج خوارزمية تحسين تُستخدم لتقليل دالة الخسارة. وتحدّث الأوزان والانحيازات عبر اتخاذ خطوات صغيرة في اتجاه التدرج السالب.

قاعدة التحديث:

Weight = Weight - Learning_Rate * Gradient

قاعدة السلسلة في الانتشار العكسي

تُستخدم قاعدة السلسلة لحساب تدرج دالة الخسارة لكل طبقة. وتتيح تمرير الخطأ إلى الخلف عبر الشبكة.

على سبيل المثال، يكون تدرج الخسارة بالنسبة إلى وزن كما يلي:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

مثال على الانتشار العكسي

لنفترض وجود شبكة عصبية بسيطة تتكون من طبقة إدخال واحدة، وطبقة مخفية واحدة، وطبقة إخراج واحدة:

نُعدّل الأوزان باستخدام التمريرين الأمامي والخلفي لتقليل الخطأ عبر عدة دورات تدريبية.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

التحديات في الانتشار العكسي

تشمل المشكلات الشائعة ما يلي:

• تلاشي التدرجات: تصبح التدرجات صغيرة جدًا، مما يؤدي إلى إبطاء عملية التعلم.
• انفجار التدرجات: تصبح التدرجات كبيرة جدًا، مما يسبب عدم الاستقرار.
• القيم الدنيا المحلية: قد تتوقف الخوارزمية عند حلول غير مثلى.

تحسينات الانتشار العكسي

لمعالجة هذه التحديات، تتضمن التقنيات الحديثة ما يلي:

• دوال التنشيط: تساعد ReLU على الحد من تلاشي التدرجات.
• خوارزميات التحسين: تعمل خوارزميات مثل Adam وRMSProp على تحسين التقارب.
• التنظيم: يمنع فرط التخصيص من خلال فرض عقوبة على الأوزان الكبيرة.

الملخص والخطوات التالية

في هذا الدرس، قمنا بما يلي:

• استكشفنا خوارزمية الانتشار العكسي ودورها في تدريب الشبكات العصبية.
• تعرّفنا على الانحدار المتدرج وقاعدة السلسلة.
• ناقشنا تحديات الانتشار العكسي والتحسينات الحديثة عليه.

بعد ذلك، سننفّذ أول شبكة عصبية لنا باستخدام TensorFlow لنرى الانتشار العكسي أثناء العمل.