แนวคิดตาราง Q

ตาราง Q เป็นแนวคิดหลักในการเรียนรู้แบบเสริมกำลัง ตารางนี้เป็นตารางค้นหาที่แต่ละรายการแสดงรางวัลที่คาดหมายจากการเลือกการกระทำเฉพาะในสถานะหนึ่ง

เป้าหมายคือการเรียนรู้ค่า Q ซึ่งช่วยชี้นำให้ตัวแทนเลือกการกระทำที่ดีที่สุดเพื่อให้ได้รางวัลสูงสุด

โครงสร้างของตาราง Q

ตาราง Q มีโครงสร้างดังนี้:

• แถว: แทนสถานะของสภาพแวดล้อม
• คอลัมน์: แทนการกระทำที่ตัวแทนสามารถเลือกได้
• ค่า: แทนค่า Q สำหรับคู่สถานะกับการกระทำ

ตัวแทนจะปรับปรุงค่าเหล่านี้ระหว่างการเรียนรู้

สูตรปรับปรุงค่า Q

ค่า Q จะได้รับการปรับปรุงโดยใช้สมการเบลล์แมน:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

โดยที่:

• s: สถานะปัจจุบัน
• a: การกระทำปัจจุบัน
• r: รางวัลสำหรับการกระทำ
• s': สถานะถัดไป
• α: อัตราการเรียนรู้
• γ: ตัวคูณลดค่า

ตัวอย่างตาราง Q อย่างง่าย

พิจารณาตาราง Q สำหรับโลกแบบตาราง:

สถานะ: ตำแหน่งบนตาราง เช่น A1, B1

การกระทำ: เลื่อนขึ้น ลง ซ้าย ขวา

ในเบื้องต้น ค่า Q ทั้งหมดถูกกำหนดเป็นศูนย์:

สถานะ	ขึ้น	ลง	ซ้าย	ขวา
A1	0	0	0	0
B1	0	0	0	0

การกำหนดค่าเริ่มต้นให้ตาราง Q ในไพทอน

เราสามารถแทนตาราง Q โดยใช้อาร์เรย์ของ NumPy หรือพจนานุกรม:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

การสำรวจในการเรียนรู้แบบ Q

ตัวแทนใช้นโยบาย ε-เลือกค่าที่ดีที่สุดเพื่อรักษาสมดุลระหว่างการสำรวจกับการใช้ประโยชน์:

• ด้วยความน่าจะเป็น ε ให้เลือกการกระทำแบบสุ่ม (การสำรวจ)
• ด้วยความน่าจะเป็น 1-ε ให้เลือกการกระทำที่มีค่า Q สูงสุด (การใช้ประโยชน์)

ข้อดีของตาราง Q

ตาราง Q เรียบง่ายและมีประสิทธิภาพสำหรับสภาพแวดล้อมขนาดเล็ก ข้อดีของตาราง Q ได้แก่:

• นำไปใช้งานและแก้จุดบกพร่องได้ง่าย
• ตีความความสัมพันธ์ระหว่างสถานะกับการกระทำได้อย่างชัดเจน
• มีต้นทุนการคำนวณต่ำสำหรับพื้นที่สถานะกับการกระทำขนาดเล็ก

ข้อจำกัดของตาราง Q

ตาราง Q มีข้อจำกัดบางประการ:

• ไม่สามารถขยายรองรับสภาพแวดล้อมที่มีพื้นที่สถานะ-การกระทำขนาดใหญ่ได้
• ต้องใช้หน่วยความจำจำนวนมากสำหรับปัญหาที่มีหลายมิติ
• ไม่สามารถสรุปใช้กับสถานะที่คล้ายกันได้

สรุปและขั้นตอนถัดไป

ในบทเรียนนี้ เราได้:

• เรียนรู้แนวคิดและโครงสร้างของตาราง Q
• สำรวจวิธีอัปเดตค่า Q โดยใช้สมการเบลล์แมน
• อภิปรายข้อดีและข้อจำกัดของตาราง Q

ถัดไป เราจะนำอัลกอริทึมการเรียนรู้แบบ Q อย่างง่ายไปใช้งานใน Python เพื่อดูการทำงานของตาราง Q