مفهوم جدول Q

يُعد جدول Q مفهومًا أساسيًا في التعلّم المعزّز. وهو جدول بحث يمثّل كل إدخال فيه المكافأة المتوقعة لتنفيذ إجراء محدد في حالة معينة.

الهدف هو تعلّم قيم Q التي توجه الوكيل إلى اتخاذ أفضل الإجراءات لتحقيق أكبر قدر من المكافآت.

بنية جدول Q

يتكون جدول Q من العناصر التالية:

• الصفوف: تمثل حالات البيئة.
• الأعمدة: تمثل الإجراءات المتاحة للوكيل.
• القيم: تمثل قيمة Q لأزواج الحالة والإجراء.

يحدّث الوكيل هذه القيم أثناء التعلّم.

صيغة تحديث قيمة Q

تُحدَّث قيم Q باستخدام معادلة بيلمان:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

حيث:

• s: الحالة الحالية
• a: الإجراء الحالي
• r: المكافأة مقابل الإجراء
• s': الحالة التالية
• α: معدل التعلّم
• γ: معامل الخصم

مثال على جدول Q بسيط

لنفترض وجود جدول Q لعالم شبكي:

الحالات: مواضع الشبكة، مثل A1 وB1

الإجراءات: التحرك لأعلى أو لأسفل أو لليسار أو لليمين

في البداية، تُضبط جميع قيم Q على الصفر:

الحالة	لأعلى	لأسفل	لليسار	لليمين
A1	0	0	0	0
B1	0	0	0	0

تهيئة جدول Q في Python

يمكننا تمثيل جدول Q باستخدام مصفوفة NumPy أو قاموس:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

الاستكشاف في التعلّم باستخدام Q

يستخدم الوكيل سياسة ε-جشعة لتحقيق التوازن بين الاستكشاف والاستغلال:

• باستخدام احتمال ε، يختار إجراءً عشوائيًا (الاستكشاف).
• باستخدام احتمال 1-ε، يختار الإجراء ذي أعلى قيمة Q (الاستغلال).

مزايا جداول Q

تتميز جداول Q بالبساطة والفاعلية في البيئات الصغيرة. وتشمل مزاياها ما يلي:

• سهولة التنفيذ وتصحيح الأخطاء.
• وضوح تفسير العلاقات بين الحالات والإجراءات.
• انخفاض التكلفة الحسابية في فضاءات الحالات والإجراءات الصغيرة.

قيود جداول Q

تتضمن جداول Q بعض القيود:

• لا تتوسع لتناسب البيئات ذات فضاءات الحالات والأفعال الكبيرة.
• تتطلب ذاكرة كبيرة للمشكلات عالية الأبعاد.
• لا تستطيع التعميم عبر الحالات المتشابهة.

الملخص والخطوات التالية

في هذا الدرس، قمنا بما يلي:

• تعرّفنا على مفهوم جدول Q وبنيته.
• استكشفنا كيفية تحديث قيم Q باستخدام معادلة Bellman.
• ناقشنا مزايا جداول Q وقيودها.

بعد ذلك، سننفّذ خوارزمية Q-Learning بسيطة في Python لرؤية جداول Q أثناء العمل.