Konsep Tabel-Q

Tabel-Q adalah konsep inti dalam pembelajaran penguatan. Tabel ini merupakan tabel pencarian yang setiap entrinya menunjukkan imbalan yang diharapkan untuk mengambil tindakan tertentu dalam keadaan tertentu.

Tujuannya adalah mempelajari nilai-Q yang memandu agen untuk mengambil tindakan terbaik demi memperoleh imbalan maksimum.

Struktur Tabel-Q

Tabel-Q memiliki struktur berikut:

• Baris: Menunjukkan keadaan lingkungan.
• Kolom: Menunjukkan tindakan yang tersedia bagi agen.
• Nilai: Menunjukkan nilai-Q untuk pasangan keadaan-tindakan.

Agen memperbarui nilai-nilai ini selama pembelajaran.

Rumus Pembaruan Nilai-Q

Nilai-Q diperbarui menggunakan persamaan Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Keterangan:

• s: Keadaan saat ini
• a: Tindakan saat ini
• r: Imbalan atas tindakan
• s': Keadaan berikutnya
• α: Laju pembelajaran
• γ: Faktor diskonto

Contoh Tabel-Q Sederhana

Perhatikan sebuah Tabel-Q untuk dunia kisi:

Keadaan: Posisi pada kisi, misalnya A1, B1

Tindakan: Bergerak ke atas, bawah, kiri, kanan

Pada awalnya, semua nilai-Q ditetapkan ke nol:

Keadaan	Atas	Bawah	Kiri	Kanan
A1	0	0	0	0
B1	0	0	0	0

Menginisialisasi Tabel-Q dalam Python

Kami dapat merepresentasikan Tabel-Q menggunakan larik NumPy atau kamus:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Eksplorasi dalam Pembelajaran-Q

Agen menggunakan kebijakan ε dengan pemilihan tindakan terbaik untuk menyeimbangkan eksplorasi dan eksploitasi:

• Dengan probabilitas ε, pilih tindakan acak (eksplorasi).
• Dengan probabilitas 1-ε, pilih tindakan dengan nilai-Q tertinggi (eksploitasi).

Keunggulan Tabel-Q

Tabel-Q sederhana dan efektif untuk lingkungan berukuran kecil. Keunggulannya meliputi:

• Implementasi dan penelusuran kesalahan yang mudah.
• Interpretasi yang jelas mengenai hubungan keadaan-tindakan.
• Biaya komputasi yang rendah untuk ruang keadaan-tindakan berukuran kecil.

Keterbatasan Tabel-Q

Tabel-Q memiliki beberapa keterbatasan:

• Tidak dapat diskalakan untuk lingkungan dengan ruang keadaan-aksi yang besar.
• Memerlukan memori yang besar untuk masalah berdimensi tinggi.
• Tidak mampu melakukan generalisasi di antara keadaan yang serupa.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kita:

• Mempelajari konsep Tabel-Q dan strukturnya.
• Menjelajahi cara nilai-Q diperbarui menggunakan persamaan Bellman.
• Membahas kelebihan dan keterbatasan Tabel-Q.

Selanjutnya, kita akan mengimplementasikan algoritme Pembelajaran-Q sederhana dalam Python untuk melihat Tabel-Q beraksi.