خوارزمية الانتشار العكسي

الانتشار العكسي خوارزمية أساسية تُستخدم لتدريب الشبكات العصبية. تحسب هذه الخوارزمية تدرج دالة الخسارة بالنسبة إلى كل وزن، وذلك من خلال نشر الأخطاء إلى الخلف عبر الشبكة.

الخطوات الأساسية في الانتشار العكسي

تتضمن عملية الانتشار العكسي ما يلي:

1. التمرير الأمامي: حساب الناتج والخسارة.
2. التمرير الخلفي: حساب تدرج دالة الخسارة بالنسبة إلى الأوزان والانحيازات.
3. تحديث الأوزان: ضبط الأوزان باستخدام خوارزمية تحسين مثل الانحدار المتدرج.

دالة الخسارة

تقيس دالة الخسارة الفرق بين القيم المتوقعة والقيم الفعلية. وتشمل دوال الخسارة الشائعة ما يلي:

• متوسط مربع الخطأ (MSE): لمهام الانحدار.
• خسارة الانتروبيا المتقاطعة: لمهام التصنيف.

الانحدار المتدرج

الانحدار المتدرج خوارزمية تحسين تُستخدم لتقليل دالة الخسارة. فهي تحدّث الأوزان والانحيازات عبر اتخاذ خطوات صغيرة في اتجاه التدرج السالب.

قاعدة التحديث:

Weight = Weight - Learning_Rate * Gradient

قاعدة السلسلة في الانتشار العكسي

تُستخدم قاعدة السلسلة لحساب تدرج دالة الخسارة لكل طبقة. وتتيح نشر الخطأ إلى الخلف عبر الشبكة.

على سبيل المثال، يكون تدرج الخسارة بالنسبة إلى وزن ما كما يلي:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

مثال على الانتشار العكسي

لنفترض وجود شبكة عصبية بسيطة تتكون من طبقة إدخال واحدة وطبقة مخفية واحدة وطبقة إخراج واحدة:

باستخدام التمريرين الأمامي والخلفي، نضبط الأوزان لتقليل الخطأ عبر عصور تدريبية متعددة.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

تحديات الانتشار العكسي

تشمل المشكلات الشائعة ما يلي:

• تلاشي التدرجات: تصبح التدرجات صغيرة جدًا، مما يبطئ التعلّم.
• انفجار التدرجات: تصبح التدرجات كبيرة جدًا، مما يسبب عدم الاستقرار.
• النقاط الدنيا المحلية: قد تعلق الخوارزمية في حلول غير مثالية.

تحسينات الانتشار العكسي

لمعالجة هذه التحديات، تشمل التقنيات الحديثة ما يلي:

• دوال التنشيط: تساعد ReLU على الحد من تلاشي التدرجات.
• خوارزميات التحسين: تحسّن خوارزميات مثل Adam وRMSProp التقارب.
• التنظيم: يمنع فرط التكيّف من خلال معاقبة الأوزان الكبيرة.

الملخص والخطوات التالية

في هذا الدرس، قمنا بما يلي:

• استكشفنا خوارزمية الانتشار العكسي ودورها في تدريب الشبكات العصبية.
• تعلّمنا الانحدار المتدرج وقاعدة السلسلة.
• ناقشنا تحديات الانتشار العكسي والتحسينات الحديثة عليه.

بعد ذلك، سننفّذ أول شبكة عصبية لنا باستخدام TensorFlow لنرى الانتشار العكسي أثناء عمله.