مفهوم جدول Q

يُعد جدول Q مفهومًا أساسيًا في التعلم المعزز. وهو جدول بحث تمثل كل خانة فيه المكافأة المتوقعة لاتخاذ إجراء محدد في حالة معينة.

الهدف هو تعلم قيم Q التي توجه الوكيل إلى اتخاذ أفضل الإجراءات لتحقيق أقصى قدر من المكافآت.

بنية جدول Q

يتكون جدول Q من:

• الصفوف: تمثل حالات البيئة.
• الأعمدة: تمثل الإجراءات المتاحة للوكيل.
• القيم: تمثل قيمة Q لأزواج الحالة والإجراء.

يحدّث الوكيل هذه القيم أثناء التعلم.

صيغة تحديث قيمة Q

تُحدّث قيم Q باستخدام معادلة بيلمان:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

حيث:

• s: الحالة الحالية
• a: الإجراء الحالي
• r: مكافأة الإجراء
• s': الحالة التالية
• α: معدل التعلم
• γ: معامل الخصم

مثال على جدول Q بسيط

لنفترض وجود جدول Q لعالم شبكي:

الحالات: مواضع الشبكة (مثل A1 وB1)

الإجراءات: التحرك إلى أعلى أو أسفل أو اليسار أو اليمين

في البداية، تُضبط جميع قيم Q على الصفر:

الحالة	أعلى	أسفل	اليسار	اليمين
A1	0	0	0	0
B1	0	0	0	0

تهيئة جدول Q في Python

يمكننا تمثيل جدول Q باستخدام مصفوفة NumPy أو قاموس:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

الاستكشاف في Q-Learning

يستخدم الوكيل سياسة ε-greedy لتحقيق التوازن بين الاستكشاف والاستغلال:

• باحتمال ε، اختر إجراءً عشوائيًا (الاستكشاف).
• باحتمال 1-ε، اختر الإجراء ذا أعلى قيمة Q (الاستغلال).

مزايا جداول Q

تتميز جداول Q بالبساطة والفعالية في البيئات الصغيرة. وتشمل مزاياها ما يلي:

• سهولة التنفيذ وتصحيح الأخطاء.
• وضوح تفسير العلاقات بين الحالات والإجراءات.
• انخفاض التكلفة الحسابية في فضاءات الحالات والإجراءات الصغيرة.

قيود جداول Q

تواجه جداول Q بعض القيود:

• لا تتسع للتعامل مع البيئات ذات فضاءات الحالات والإجراءات الكبيرة.
• تتطلب قدرًا كبيرًا من الذاكرة للمشكلات عالية الأبعاد.
• لا تستطيع التعميم عبر الحالات المتشابهة.

الملخص والخطوات التالية

في هذا الدرس:

• تعرفنا على مفهوم جدول Q وبنيته.
• استكشفنا كيفية تحديث قيم Q باستخدام معادلة بيلمان.
• ناقشنا مزايا جداول Q وقيودها.

بعد ذلك، سننفذ خوارزمية Q-Learning بسيطة في Python لنرى جداول Q قيد التطبيق.