Q Tablosu Kavramı

Q tablosu, pekiştirmeli öğrenmede temel bir kavramdır. Her girişin belirli bir durumda belirli bir eylemi gerçekleştirmeye ilişkin beklenen ödülü temsil ettiği bir arama tablosudur.

Amaç, etmene en yüksek ödülleri elde etmek için en iyi eylemleri gerçekleştirmesinde yol gösteren Q değerlerini öğrenmektir.

Q Tablosunun Yapısı

Q tablosu şu şekilde yapılandırılmıştır:

• Satırlar: Ortamın durumlarını temsil eder.
• Sütunlar: Etmenin kullanabileceği eylemleri temsil eder.
• Değerler: Durum-eylem çiftleri için Q değerini temsil eder.

Etmen, öğrenme sırasında bu değerleri günceller.

Q Değeri Güncelleme Formülü

Q değerleri Bellman denklemi kullanılarak güncellenir:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Burada:

• s: Mevcut durum
• a: Mevcut eylem
• r: Eylemin ödülü
• s': Sonraki durum
• α: Öğrenme oranı
• γ: İskonto katsayısı

Basit Bir Q Tablosu Örneği

Bir ızgara dünyası için Q tablosunu ele alalım:

Durumlar: Izgara konumları (ör. A1, B1)

Eylemler: Yukarı, aşağı, sola ve sağa hareket etme

Başlangıçta tüm Q değerleri sıfıra ayarlanır:

Durum	Yukarı	Aşağı	Sol	Sağ
A1	0	0	0	0
B1	0	0	0	0

Python'da Q Tablosunu Başlatma

Bir Q tablosunu NumPy dizisi veya sözlük kullanarak temsil edebiliriz:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Q-Öğrenmede Keşif

Etmen, keşif ve yararlanma arasında denge kurmak için ε-açgözlü politikayı kullanır:

• ε olasılıkla rastgele bir eylem seçer (keşif).
• 1-ε olasılıkla Q değeri en yüksek eylemi seçer (yararlanma).

Q Tablolarının Avantajları

Q tabloları küçük ortamlar için basit ve etkilidir. Avantajları arasında şunlar bulunur:

• Kolay uygulama ve hata ayıklama.
• Durum-eylem ilişkilerinin açık biçimde yorumlanabilmesi.
• Küçük durum-eylem uzayları için düşük hesaplama maliyeti.

Q-Tablolarının Sınırlamaları

Q-Tablolarının bazı sınırlamaları vardır:

• Büyük durum-eylem uzaylarına sahip ortamlara ölçeklenemez.
• Yüksek boyutlu problemler için önemli miktarda bellek gerektirir.
• Benzer durumlar arasında genelleme yapamaz.

Özet ve Sonraki Adımlar

Bu derste:

• Q-Tablosu kavramını ve yapısını öğrendik.
• Q-değerlerinin Bellman denklemi kullanılarak nasıl güncellendiğini inceledik.
• Q-Tablolarının avantajlarını ve sınırlamalarını ele aldık.

Sırada, Q-Tablolarının işleyişini görmek için Python'da basit bir Q-Öğrenmesi algoritması uygulayacağız.