Q-Table-konseptet

Q-verdier oppdateres ved hjelp av Bellman-ligningen:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Der:

• s: Gjeldende tilstand
• a: Gjeldende handling
• r: Belønning for handlingen
• s': Neste tilstand
• α: Læringsrate
• γ: Diskonteringsfaktor

Se på en Q-tabell for en rutenettverden:

Tilstander: Rutenettposisjoner (for eksempel A1, B1)

Handlinger: Flytt opp, ned, til venstre eller til høyre

Til å begynne med er alle Q-verdiene satt til null:

Tilstand	Opp	Ned	Venstre	Høyre
A1	0	0	0	0
B1	0	0	0	0

Vi kan representere en Q-tabell ved hjelp av en NumPy-matrise eller en ordbok:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Agenten bruker en ε-greedy-policy for å balansere utforskning og utnyttelse:

• Med sannsynlighet ε velges en tilfeldig handling (utforskning).
• Med sannsynlighet 1-ε velges handlingen med den høyeste Q-verdien (utnyttelse).

Q-tabeller er enkle og effektive for små miljøer. Fordelene omfatter:

• Enkel implementering og feilsøking.
• Tydelig tolkning av forholdet mellom tilstand og handling.
• Lav beregningskostnad for små tilstands- og handlingsrom.

Q-tabeller har enkelte begrensninger:

• Kan ikke skaleres til miljøer med store tilstands- og handlingsrom.
• Krever betydelig minne for problemer med mange dimensjoner.
• Mangler evnen til å generalisere på tvers av lignende tilstander.

I denne leksjonen har vi:

• Lært om Q-tabell-konseptet og strukturen til en Q-tabell.
• Utforsket hvordan Q-verdier oppdateres ved hjelp av Bellman-ligningen.
• Diskutert fordelene og begrensningene ved Q-tabeller.

Deretter implementerer vi en enkel Q-Learning-algoritme i Python for å se Q-tabeller i praksis.