Konsep Jadual Q

Konsep Jadual-Q

Jadual-Q ialah konsep teras dalam pembelajaran pengukuhan. Jadual ini ialah jadual rujukan yang setiap entrinya mewakili ganjaran dijangka bagi mengambil tindakan tertentu dalam keadaan tertentu.

Matlamatnya adalah untuk mempelajari nilai-Q, yang membimbing ejen mengambil tindakan terbaik bagi memperoleh ganjaran maksimum.

Jadual-Q distrukturkan seperti berikut:

• Baris: Mewakili keadaan persekitaran.
• Lajur: Mewakili tindakan yang tersedia untuk ejen.
• Nilai: Mewakili nilai-Q bagi pasangan keadaan-tindakan.

Ejen mengemas kini nilai ini semasa pembelajaran.

Nilai-Q dikemas kini menggunakan persamaan Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Dengan:

• s: Keadaan semasa
• a: Tindakan semasa
• r: Ganjaran untuk tindakan
• s': Keadaan seterusnya
• α: Kadar pembelajaran
• γ: Faktor diskaun

Pertimbangkan Jadual-Q untuk dunia petak:

Keadaan: Kedudukan pada petak, contohnya A1, B1

Tindakan: Bergerak ke atas, bawah, kiri atau kanan

Pada awalnya, semua nilai-Q ditetapkan kepada sifar:

Keadaan	Atas	Bawah	Kiri	Kanan
A1	0	0	0	0
B1	0	0	0	0

Kita boleh mewakili Jadual-Q menggunakan tatasusunan NumPy atau kamus:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Ejen menggunakan dasar ε-tamak untuk mengimbangi penerokaan dan eksploitasi:

• Dengan kebarangkalian ε, pilih tindakan rawak (penerokaan).
• Dengan kebarangkalian 1-ε, pilih tindakan dengan nilai-Q tertinggi (eksploitasi).

Jadual-Q ringkas dan berkesan untuk persekitaran kecil. Kelebihannya termasuk:

• Mudah dilaksanakan dan dinyahpepijat.
• Hubungan keadaan-tindakan yang mudah difahami.
• Kos pengiraan yang rendah untuk ruang keadaan-tindakan yang kecil.

Jadual-Q mempunyai beberapa batasan:

• Tidak boleh diskalakan dengan baik untuk persekitaran yang mempunyai ruang keadaan-tindakan yang besar.
• Memerlukan memori yang besar untuk masalah berdimensi tinggi.
• Tidak dapat membuat generalisasi merentas keadaan yang serupa.

Dalam pelajaran ini, kita telah:

• Mempelajari konsep Jadual-Q dan strukturnya.
• Meneroka cara nilai-Q dikemas kini menggunakan persamaan Bellman.
• Membincangkan kelebihan dan batasan Jadual-Q.

Seterusnya, kita akan melaksanakan algoritma Pembelajaran-Q yang ringkas dalam Python untuk melihat Jadual-Q berfungsi.