Q-Tablosu Kavramı

Q-Tablosu, pekiştirmeli öğrenmenin temel kavramlarından biridir. Her girdinin belirli bir durumda belirli bir eylemi gerçekleştirmek için beklenen ödülü temsil ettiği bir başvuru tablosudur.

Amaç, ajanı en yüksek ödülleri elde edecek en iyi eylemleri gerçekleştirmeye yönlendiren Q-değerlerini öğrenmektir.

Q-Tablosunun Yapısı

Q-Tablosu şu şekilde yapılandırılır:

• Satırlar: Ortamın durumlarını temsil eder.
• Sütunlar: Ajanın kullanabileceği eylemleri temsil eder.
• Değerler: Durum-eylem çiftine ait Q-değerini temsil eder.

Ajan, öğrenme sırasında bu değerleri günceller.

Q-Değeri Güncelleme Formülü

Q-değerleri Bellman denklemi kullanılarak güncellenir:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Burada:

• s: Mevcut durum
• a: Mevcut eylem
• r: Eylemin ödülü
• s': Sonraki durum
• α: Öğrenme oranı
• γ: İndirim katsayısı

Basit Bir Q-Tablosu Örneği

Bir ızgara dünyası için Q-Tablosunu ele alalım:

Durumlar: Izgara konumları (ör. A1, B1)

Eylemler: Yukarı, aşağı, sola, sağa hareket etme

Başlangıçta tüm Q-değerleri sıfıra ayarlanır:

Durum	Yukarı	Aşağı	Sol	Sağ
A1	0	0	0	0
B1	0	0	0	0

Python'da Q-Tablosunu Başlatma

Bir Q-Tablosunu NumPy dizisi veya sözlük kullanarak temsil edebiliriz:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Q-Öğrenmesinde Keşif

Ajan, keşif ve yararlanma arasında denge kurmak için ε-greedy politikası kullanır:

• ε olasılığıyla rastgele bir eylem seçilir (keşif).
• 1-ε olasılığıyla Q-değeri en yüksek olan eylem seçilir (yararlanma).

Q-Tablolarının Avantajları

Q-Tabloları küçük ortamlar için basit ve etkilidir. Avantajları şunlardır:

• Kolay uygulama ve hata ayıklama.
• Durum-eylem ilişkilerinin açık biçimde yorumlanabilmesi.
• Küçük durum-eylem uzayları için düşük hesaplama maliyeti.

Q-Tablolarının Sınırlamaları

Q-Tablolarının bazı sınırlamaları vardır:

• Büyük durum-eylem uzaylarına sahip ortamlara ölçeklenememeleri.
• Yüksek boyutlu problemler için önemli miktarda bellek gerektirmeleri.
• Benzer durumlar arasında genelleme yapamamaları.

Özet ve Sonraki Adımlar

Bu derste:

• Q-Tablosu kavramını ve yapısını öğrendik.
• Q-değerlerinin Bellman denklemi kullanılarak nasıl güncellendiğini inceledik.
• Q-Tablolarının avantajlarını ve sınırlamalarını ele aldık.

Sırada, Q-Tablolarını uygulamalı olarak görmek için Python'da basit bir Q-Öğrenmesi algoritması uygulayacağız.