Konsep Q-Table

Nilai-Q dikemas kini menggunakan persamaan Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Dengan:

• s: Keadaan semasa
• a: Tindakan semasa
• r: Ganjaran bagi tindakan
• s': Keadaan seterusnya
• α: Kadar pembelajaran
• γ: Faktor diskaun

Pertimbangkan satu Jadual-Q untuk dunia grid:

Keadaan: Kedudukan pada grid (contohnya, A1, B1)

Tindakan: Bergerak ke atas, bawah, kiri dan kanan

Pada awalnya, semua nilai-Q ditetapkan kepada sifar:

Keadaan	Atas	Bawah	Kiri	Kanan
A1	0	0	0	0
B1	0	0	0	0

Kita boleh mewakili Jadual-Q menggunakan tatasusunan NumPy atau kamus:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Ejen menggunakan dasar ε-pilihan terbaik untuk mengimbangi penerokaan dan eksploitasi:

• Dengan kebarangkalian ε, pilih tindakan rawak (penerokaan).
• Dengan kebarangkalian 1-ε, pilih tindakan dengan nilai-Q tertinggi (eksploitasi).

Jadual-Q ringkas dan berkesan untuk persekitaran kecil. Kelebihannya termasuk:

• Pelaksanaan dan penyahpepijatan yang mudah.
• Tafsiran yang jelas tentang hubungan keadaan-tindakan.
• Kos pengiraan yang rendah bagi ruang keadaan-tindakan kecil.

Jadual-Q mempunyai beberapa keterbatasan:

• Tidak dapat diskalakan untuk persekitaran dengan ruang keadaan-tindakan yang besar.
• Memerlukan memori yang banyak untuk masalah berdimensi tinggi.
• Tidak berupaya membuat generalisasi merentas keadaan yang serupa.

Dalam pelajaran ini, kita:

• Mempelajari konsep Jadual-Q dan strukturnya.
• Meneroka cara nilai-Q dikemas kini menggunakan persamaan Bellman.
• Membincangkan kelebihan dan keterbatasan Jadual-Q.

Seterusnya, kita akan melaksanakan algoritma Pembelajaran-Q yang ringkas dalam Python untuk melihat Jadual-Q digunakan.