Het concept van de Q-tabel

Concept van de Q-tabel

De Q-tabel is een kernconcept in versterkingsleren. Het is een opzoektabel waarin elke vermelding de verwachte beloning weergeeft voor het uitvoeren van een bepaalde actie in een bepaalde toestand.

Het doel is om de Q-waarden te leren, die de agent aansturen om de beste acties te kiezen voor maximale beloningen.

De Q-tabel is als volgt opgebouwd:

• Rijen: Geven de toestanden van de omgeving weer.
• Kolommen: Geven de acties weer die voor de agent beschikbaar zijn.
• Waarden: Geven de Q-waarde voor toestand-actieparen weer.

De agent werkt deze waarden tijdens het leren bij.

Q-waarden worden bijgewerkt met de vergelijking van Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Waarbij:

• s: Huidige toestand
• a: Huidige actie
• r: Beloning voor de actie
• s': Volgende toestand
• α: Leersnelheid
• γ: Disconteringsfactor

Bekijk een Q-tabel voor een rasterwereld:

Toestanden: Rasterposities, bijvoorbeeld A1 en B1

Acties: Omhoog, omlaag, links of rechts bewegen

In eerste instantie zijn alle Q-waarden ingesteld op nul:

Toestand	Omhoog	Omlaag	Links	Rechts
A1	0	0	0	0
B1	0	0	0	0

We kunnen een Q-tabel weergeven met een NumPy-array of een woordenboek:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

De agent gebruikt een ε-gretig beleid om verkenning en exploitatie in balans te brengen:

• Kies met waarschijnlijkheid ε een willekeurige actie (verkenning).
• Kies met waarschijnlijkheid 1-ε de actie met de hoogste Q-waarde (exploitatie).

Q-tabellen zijn eenvoudig en effectief voor kleine omgevingen. Hun voordelen zijn onder andere:

• Eenvoudige implementatie en foutopsporing.
• Duidelijke interpretatie van relaties tussen toestanden en acties.
• Lage berekeningskosten voor kleine toestands-actieruimten.

Q-tabellen hebben enkele beperkingen:

• Niet schaalbaar voor omgevingen met grote toestand-actieruimten.
• Vereisen veel geheugen voor problemen met veel dimensies.
• Kunnen niet generaliseren over vergelijkbare toestanden.

In deze les hebben we:

• Het concept van de Q-tabel en de structuur ervan geleerd.
• Onderzocht hoe Q-waarden worden bijgewerkt met de Bellman-vergelijking.
• De voordelen en beperkingen van Q-tabellen besproken.

Vervolgens implementeren we een eenvoudig Q-Learning-algoritme in Python om Q-tabellen in actie te zien.