Q-tabel-konceptet

Begrebet Q-tabel

Q-tabellen er et centralt begreb inden for forstærkende læring. Det er en opslagstabel, hvor hver post repræsenterer den forventede belønning ved at udføre en bestemt handling i en given tilstand.

Målet er at lære Q-værdierne, som hjælper agenten med at vælge de bedste handlinger for at opnå maksimale belønninger.

Q-tabellen er struktureret sådan:

• Rækker: Repræsenterer miljøets tilstande.
• Kolonner: Repræsenterer de handlinger, der er tilgængelige for agenten.
• Værdier: Repræsenterer Q-værdien for tilstands-handlingspar.

Agenten opdaterer disse værdier under indlæringen.

Q-værdier opdateres ved hjælp af Bellman-ligningen:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Hvor:

• s: Aktuel tilstand
• a: Aktuel handling
• r: Belønning for handlingen
• s': Næste tilstand
• α: Indlæringshastighed
• γ: Diskonteringsfaktor

Se på en Q-tabel for en gitterverden:

Tilstande: Gitterpositioner (f.eks. A1, B1)

Handlinger: Bevæg op, ned, til venstre eller til højre

Oprindeligt er alle Q-værdier sat til nul:

Tilstand	Op	Ned	Venstre	Højre
A1	0	0	0	0
B1	0	0	0	0

Vi kan repræsentere en Q-tabel ved hjælp af et NumPy-array eller en ordbog:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Agenten bruger en ε-grådig politik til at afveje udforskning og udnyttelse:

• Med sandsynligheden ε vælges en tilfældig handling (udforskning).
• Med sandsynligheden 1-ε vælges den handling, der har den højeste Q-værdi (udnyttelse).

Q-tabeller er enkle og effektive i små miljøer. Deres fordele omfatter:

• Nem implementering og fejlfinding.
• Tydelig fortolkning af forholdet mellem tilstande og handlinger.
• Lav beregningsomkostning i små tilstands-handlingsrum.

Q-tabeller har nogle begrænsninger:

• De kan ikke skaleres til miljøer med store tilstands-handlingsrum.
• De kræver betydelig hukommelse til problemer med mange dimensioner.
• De kan ikke generalisere på tværs af lignende tilstande.

I denne lektion:

• Lærte du om Q-tabelbegrebet og dets struktur.
• Undersøgte du, hvordan Q-værdier opdateres ved hjælp af Bellman-ligningen.
• Gennemgik du fordelene og begrænsningerne ved Q-tabeller.

Derefter implementerer du en simpel Q-learning-algoritme i Python for at se Q-tabeller i praksis.