المفاهيم الأساسية في التعلّم المعزّز

التعلّم المعزّز (RL) هو أحد أنواع تعلّم الآلة، حيث يتعلم الوكيل اتخاذ القرارات من خلال التفاعل مع البيئة. والهدف هو تحقيق أكبر قدر ممكن من المكافآت بمرور الوقت.

تشمل المكونات الأساسية للتعلّم المعزّز الوكلاء والبيئات والمكافآت والعقوبات.

المصطلحات الأساسية في RL

من المصطلحات المهمة في التعلّم المعزّز:

• الوكيل: الجهة التي تتخذ القرارات، مثل روبوت أو برنامج.
• البيئة: النظام الذي يتفاعل معه الوكيل.
• الحالة: الوضع الحالي للبيئة.
• الإجراء: القرار الذي يتخذه الوكيل.
• المكافأة: التغذية الراجعة التي تقدمها البيئة مقابل إجراء ما.

التفاعل بين الوكيل والبيئة

يمكن تلخيص التفاعل بين الوكيل والبيئة كما يلي:

1. يراقب الوكيل الحالة الحالية للبيئة.
2. يتخذ الوكيل إجراءً استنادًا إلى سياسة.
3. تنتقل البيئة إلى حالة جديدة وتقدم مكافأة.

تستمر هذه الحلقة حتى الوصول إلى حالة نهائية.

المكافآت والعقوبات

المكافآت هي التغذية الراجعة التي يحصل عليها الوكيل مقابل إجراءاته. والهدف هو تعظيم المكافأة التراكمية بمرور الوقت. أما العقوبات فهي مكافآت سالبة تثني الوكيل عن الإجراءات غير المرغوبة.

على سبيل المثال:

• المكافأة: +10 عند الوصول إلى هدف.
• العقوبة: -5 عند الاصطدام بعائق.

السياسات في RL

السياسة هي استراتيجية يستخدمها الوكيل لتحديد الإجراءات استنادًا إلى الحالة الحالية.

أنواع السياسات:

• حتمية: تختار الإجراء نفسه دائمًا لحالة معينة.
• احتمالية: تختار الإجراءات باحتمالات مختلفة.

الاستكشاف مقابل الاستغلال

يواجه الوكيل مفاضلة بين ما يلي:

• الاستكشاف: تجربة إجراءات جديدة لاكتشاف المزيد عن البيئة.
• الاستغلال: اختيار الإجراءات التي تحقق أعلى مكافأة معروفة.

يُعد تحقيق التوازن بينهما أمرًا بالغ الأهمية للتعلّم الفعّال.

عملية قرار ماركوف (MDP)

غالبًا ما تُنمذج مسائل التعلّم المعزّز على شكل عملية قرار ماركوف (MDP)، وتُعرّف كما يلي:

• الحالات (S): التكوينات الممكنة للبيئة.
• الإجراءات (A): الخيارات المتاحة للوكيل.
• المكافآت (R): التغذية الراجعة مقابل الإجراءات.
• احتمالات الانتقال (P): احتمال الانتقال بين الحالات.

التحديات في التعلّم المعزّز

يواجه التعلّم المعزّز بعض التحديات:

• المكافآت المتأخرة: قد يتم الحصول على المكافآت بعد تنفيذ عدة إجراءات.
• المكافآت المتناثرة: قد تحدث المكافآت على فترات متباعدة.
• الأبعاد العالية: بيئات معقدة تضم حالات وإجراءات كثيرة.

الملخص والخطوات التالية

في هذا الدرس:

• استكشفنا المفاهيم الأساسية للتعلّم المعزّز، بما في ذلك الوكلاء والبيئات والمكافآت.
• ناقشنا السياسات والاستكشاف مقابل الاستغلال وعمليات قرار ماركوف (MDPs).
• تعرّفنا على تحديات التعلّم المعزّز.

سننتقل بعد ذلك إلى مفهوم جدول Q، وهو نهج أساسي في التعلّم المعزّز.