การเรียนรู้แบบ Q เชิงลึก

การเรียนรู้แบบ Q เชิงลึกเป็นส่วนขยายของการเรียนรู้แบบ Q ที่ใช้โครงข่ายประสาทเทียมเพื่อประมาณค่าตาราง Q วิธีนี้ช่วยให้การเรียนรู้แบบเสริมกำลังรองรับสภาพแวดล้อมที่มีพื้นที่สถานะ-การกระทำขนาดใหญ่หรือต่อเนื่องได้

เหตุใดจึงต้องใช้การเรียนรู้แบบ Q เชิงลึก

การเรียนรู้แบบ Q เชิงลึกช่วยแก้ข้อจำกัดของการเรียนรู้แบบ Q แบบดั้งเดิม:

• รองรับพื้นที่สถานะที่มีหลายมิติ เช่น รูปภาพ
• ไม่จำเป็นต้องจัดเก็บตาราง Q ขนาดใหญ่ไว้ในหน่วยความจำ
• ทำให้เรียนรู้ลักษณะทั่วไปข้ามสถานะต่าง ๆ ได้โดยใช้โครงข่ายประสาทเทียม

อัลกอริทึม DQN

การเรียนรู้แบบ Q เชิงลึกใช้โครงข่ายประสาทเทียมที่เรียกว่า เครือข่าย Q เพื่อประมาณค่า Q ขั้นตอนหลักมีดังนี้:

1. เริ่มต้นเครือข่าย Q ด้วยน้ำหนักแบบสุ่ม
2. โต้ตอบกับสภาพแวดล้อมเพื่อรวบรวมชุดข้อมูลประสบการณ์ (state, action, reward, next_state)
3. ปรับปรุงเครือข่าย Q โดยใช้สมการเบลล์แมน:

Q(s, a) ≈ r + γ max(Q(s', a'))

การสร้างเครือข่าย Q

เครือข่าย Q เป็นโครงข่ายประสาทเทียมแบบส่งต่อไปข้างหน้าอย่างง่าย ซึ่งรับสถานะปัจจุบันเป็นข้อมูลเข้าและส่งออกค่า Q สำหรับการกระทำที่เป็นไปได้ทั้งหมด:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

การเล่นซ้ำประสบการณ์

การเรียนรู้แบบ Q เชิงลึกใช้เทคนิคที่เรียกว่า การเล่นซ้ำประสบการณ์ เพื่อปรับปรุงการเรียนรู้:

• จัดเก็บประสบการณ์ (state, action, reward, next_state) ไว้ในบัฟเฟอร์หน่วยความจำ
• สุ่มเลือกชุดข้อมูลย่อยของประสบการณ์เพื่อนำไปฝึกเครือข่าย Q

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

การฝึกเครือข่าย Q

เราฝึกเครือข่าย Q โดยใช้ประสบการณ์จากบัฟเฟอร์หน่วยความจำ:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

เครือข่ายเป้าหมาย

เพื่อทำให้การฝึกมีเสถียรภาพ DQN จึงใช้เครือข่ายเป้าหมาย:

• ดูแลเครือข่ายแยกต่างหากสำหรับคำนวณค่า Q เป้าหมาย
• คัดลอกน้ำหนักจากเครือข่าย Q ไปยังเครือข่ายเป้าหมายเป็นระยะ

ข้อดีของการเรียนรู้แบบ Q เชิงลึก

การเรียนรู้แบบ Q เชิงลึกมีประโยชน์หลายประการ:

• รองรับพื้นที่สถานะที่มีหลายมิติ เช่น รูปภาพ
• ทำให้เรียนรู้ลักษณะทั่วไปข้ามสถานะต่าง ๆ ได้โดยใช้โครงข่ายประสาทเทียม
• สามารถแก้ปัญหาที่ซับซ้อน เช่น เกม Atari และการควบคุมหุ่นยนต์

สรุปและขั้นตอนถัดไป

ในบทเรียนนี้ เราได้:

• สำรวจพื้นฐานของการเรียนรู้แบบ Q เชิงลึก
• สร้างเครือข่าย Q เพื่อประมาณค่า Q
• พูดถึงการเล่นซ้ำประสบการณ์และเครือข่ายเป้าหมายเพื่อให้การฝึกมีเสถียรภาพ

ถัดไป เราจะสำรวจ OpenAI Gym และนำการเรียนรู้แบบเสริมกำลังไปใช้ในสภาพแวดล้อมจำลอง