แนวคิดตาราง Q

ตาราง Q เป็นแนวคิดหลักในการเรียนรู้แบบเสริมกำลัง ตารางนี้เป็นตารางค้นหาที่แต่ละรายการแสดงรางวัลที่คาดว่าจะได้รับจากการเลือกการกระทำหนึ่ง ๆ ในสถานะที่กำหนด

เป้าหมายคือการเรียนรู้ค่า Q ซึ่งช่วยชี้นำให้ตัวแทนเลือกการกระทำที่ดีที่สุดเพื่อให้ได้รับรางวัลสูงสุด

โครงสร้างของตาราง Q

ตาราง Q มีโครงสร้างดังนี้

• แถว: แทนสถานะของสภาพแวดล้อม
• คอลัมน์: แทนการกระทำที่ตัวแทนสามารถดำเนินการได้
• ค่า: แทนค่า Q สำหรับคู่สถานะ-การกระทำ

ตัวแทนจะปรับปรุงค่าเหล่านี้ระหว่างการเรียนรู้

สูตรปรับปรุงค่า Q

ค่า Q ได้รับการปรับปรุงโดยใช้สมการเบลล์แมน

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

โดยที่

• s: สถานะปัจจุบัน
• a: การกระทำปัจจุบัน
• r: รางวัลสำหรับการกระทำ
• s': สถานะถัดไป
• α: อัตราการเรียนรู้
• γ: ปัจจัยลดค่า

ตัวอย่างตาราง Q อย่างง่าย

พิจารณาตาราง Q สำหรับโลกแบบตาราง

สถานะ: ตำแหน่งบนตาราง เช่น A1, B1

การกระทำ: เคลื่อนที่ขึ้น ลง ซ้าย ขวา

ในเบื้องต้น ค่า Q ทั้งหมดถูกกำหนดเป็นศูนย์

สถานะ	ขึ้น	ลง	ซ้าย	ขวา
A1	0	0	0	0
B1	0	0	0	0

การเริ่มต้นตาราง Q ในไพทอน

เราสามารถแทนตาราง Q โดยใช้อาร์เรย์ของ NumPy หรือพจนานุกรมได้

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

การสำรวจในการเรียนรู้แบบ Q

ตัวแทนใช้นโยบายที่เลือกค่าดีที่สุดโดยมีความสุ่ม ε เพื่อสร้างสมดุลระหว่างการสำรวจและการใช้ประโยชน์

• ด้วยความน่าจะเป็น ε ให้เลือกการกระทำแบบสุ่ม (การสำรวจ)
• ด้วยความน่าจะเป็น 1-ε ให้เลือกการกระทำที่มีค่า Q สูงสุด (การใช้ประโยชน์)

ข้อดีของตาราง Q

ตาราง Q เรียบง่ายและมีประสิทธิภาพสำหรับสภาพแวดล้อมขนาดเล็ก ข้อดีของตาราง Q ได้แก่

• นำไปใช้และแก้จุดบกพร่องได้ง่าย
• ตีความความสัมพันธ์ระหว่างสถานะกับการกระทำได้อย่างชัดเจน
• ใช้ทรัพยากรในการคำนวณต่ำสำหรับปริภูมิสถานะ-การกระทำขนาดเล็ก

ข้อจำกัดของตาราง Q

ตาราง Q มีข้อจำกัดบางประการ

• ไม่สามารถขยายรองรับสภาพแวดล้อมที่มีปริภูมิสถานะ-การกระทำขนาดใหญ่ได้
• ต้องใช้หน่วยความจำจำนวนมากสำหรับปัญหาที่มีหลายมิติ
• ไม่สามารถนำความรู้ทั่วไปไปใช้กับสถานะที่คล้ายกันได้

สรุปและขั้นตอนถัดไป

ในบทเรียนนี้ เราได้

• เรียนรู้แนวคิดและโครงสร้างของตาราง Q
• สำรวจวิธีปรับปรุงค่า Q โดยใช้สมการเบลล์แมน
• พูดคุยเกี่ยวกับข้อดีและข้อจำกัดของตาราง Q

ถัดไป เราจะนำอัลกอริทึมการเรียนรู้แบบ Q อย่างง่ายไปใช้ในไพทอน เพื่อดูการทำงานของตาราง Q