Het Q-Table-concept

Q-waarden worden bijgewerkt met de vergelijking van Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Waarbij:

• s: huidige toestand
• a: huidige actie
• r: beloning voor de actie
• s': volgende toestand
• α: leersnelheid
• γ: disconteringsfactor

Bekijk een Q-tabel voor een rasterwereld:

Toestanden: rasterposities (bijvoorbeeld A1, B1)

Acties: omhoog, omlaag, naar links of naar rechts bewegen

Aanvankelijk zijn alle Q-waarden ingesteld op nul:

Toestand	Omhoog	Omlaag	Links	Rechts
A1	0	0	0	0
B1	0	0	0	0

Je kunt een Q-tabel weergeven met een NumPy-array of een woordenboek:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

De agent gebruikt een ε-greedy beleid om exploratie en exploitatie in balans te brengen:

• Kies met een kans van ε een willekeurige actie (exploratie).
• Kies met een kans van 1-ε de actie met de hoogste Q-waarde (exploitatie).

Q-tabellen zijn eenvoudig en effectief voor kleine omgevingen. De voordelen zijn onder andere:

• eenvoudig te implementeren en fouten op te sporen;
• duidelijke interpretatie van relaties tussen toestanden en acties;
• lage rekenkosten voor kleine toestands-actieruimten.

Q-tabellen hebben enkele beperkingen:

• niet schaalbaar voor omgevingen met grote toestands-actieruimten;
• vereisen veel geheugen voor problemen met veel dimensies;
• kunnen niet generaliseren naar vergelijkbare toestanden.

In deze les hebben we:

• het concept en de structuur van de Q-tabel geleerd;
• verkend hoe Q-waarden worden bijgewerkt met de vergelijking van Bellman;
• de voordelen en beperkingen van Q-tabellen besproken.

Vervolgens implementeren we in Python een eenvoudig Q-learningalgoritme om Q-tabellen in actie te zien.