Konsep Tabel-Q

Tabel-Q adalah konsep inti dalam pembelajaran penguatan. Tabel ini merupakan tabel pencarian yang setiap elemennya mewakili imbalan yang diharapkan dari tindakan tertentu dalam keadaan tertentu.

Tujuannya adalah mempelajari nilai-Q yang memandu agen untuk melakukan tindakan terbaik demi memperoleh imbalan maksimum.

Struktur Tabel-Q

Tabel-Q memiliki struktur sebagai berikut:

• Baris: Mewakili keadaan lingkungan.
• Kolom: Mewakili tindakan yang tersedia bagi agen.
• Nilai: Mewakili nilai-Q untuk pasangan keadaan-tindakan.

Agen memperbarui nilai-nilai ini selama proses pembelajaran.

Rumus Pembaruan Nilai-Q

Nilai-Q diperbarui menggunakan persamaan Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Dengan keterangan:

• s: Keadaan saat ini
• a: Tindakan saat ini
• r: Imbalan atas tindakan
• s': Keadaan berikutnya
• α: Laju pembelajaran
• γ: Faktor diskonto

Contoh Tabel-Q Sederhana

Perhatikan Tabel-Q untuk dunia kisi:

Keadaan: Posisi pada kisi (misalnya, A1, B1)

Tindakan: Bergerak ke atas, bawah, kiri, kanan

Pada awalnya, semua nilai-Q diatur ke nol:

Keadaan	Atas	Bawah	Kiri	Kanan
A1	0	0	0	0
B1	0	0	0	0

Menginisialisasi Tabel-Q dalam Python

Kita dapat merepresentasikan Tabel-Q menggunakan array NumPy atau kamus:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Eksplorasi dalam Pembelajaran-Q

Agen menggunakan kebijakan ε-greedy untuk menyeimbangkan eksplorasi dan eksploitasi:

• Dengan probabilitas ε, pilih tindakan acak (eksplorasi).
• Dengan probabilitas 1-ε, pilih tindakan dengan nilai-Q tertinggi (eksploitasi).

Keunggulan Tabel-Q

Tabel-Q sederhana dan efektif untuk lingkungan berukuran kecil. Keunggulannya meliputi:

• Mudah diimplementasikan dan ditelusuri kesalahannya.
• Interpretasi hubungan keadaan-tindakan yang jelas.
• Biaya komputasi rendah untuk ruang keadaan-tindakan berukuran kecil.

Keterbatasan Tabel-Q

Tabel-Q memiliki beberapa keterbatasan:

• Tidak dapat diterapkan secara efisien pada lingkungan dengan ruang keadaan-tindakan yang besar.
• Membutuhkan memori yang besar untuk masalah berdimensi tinggi.
• Tidak mampu melakukan generalisasi pada keadaan yang serupa.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kita:

• Mempelajari konsep Tabel-Q dan strukturnya.
• Mempelajari cara nilai-Q diperbarui menggunakan persamaan Bellman.
• Membahas keunggulan dan keterbatasan Tabel-Q.

Selanjutnya, kita akan menerapkan algoritma Pembelajaran-Q sederhana dalam Python untuk melihat penggunaan Tabel-Q secara langsung.