Q-tabell-konseptet

Q-tabell-konseptet

Q-tabellen er et sentralt konsept innen forsterkende læring. Det er en oppslagstabell der hver oppføring representerer den forventede belønningen for å utføre en bestemt handling i en gitt tilstand.

Målet er å lære Q-verdiene, som veileder agenten til å utføre de beste handlingene for å oppnå maksimale belønninger.

Q-tabellen er strukturert slik:

• Rader: Representerer miljøets tilstander.
• Kolonner: Representerer handlingene som er tilgjengelige for agenten.
• Verdier: Representerer Q-verdien for tilstands-handlingspar.

Agenten oppdaterer disse verdiene under læringen.

Q-verdier oppdateres ved hjelp av Bellman-ligningen:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Der:

• s: Nåværende tilstand
• a: Nåværende handling
• r: Belønning for handlingen
• s': Neste tilstand
• α: Læringsrate
• γ: Diskonteringsfaktor

Se for deg en Q-tabell for en rutenettverden:

Tilstander: Rutenettposisjoner (for eksempel A1, B1)

Handlinger: Gå opp, ned, til venstre eller til høyre

I utgangspunktet settes alle Q-verdier til null:

Tilstand	Opp	Ned	Venstre	Høyre
A1	0	0	0	0
B1	0	0	0	0

Vi kan representere en Q-tabell ved hjelp av en NumPy-matrise eller en ordbok:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Agenten bruker en ε-greedy-policy for å balansere utforskning og utnyttelse:

• Med sannsynlighet ε velges en tilfeldig handling (utforskning).
• Med sannsynlighet 1-ε velges handlingen med den høyeste Q-verdien (utnyttelse).

Q-tabeller er enkle og effektive i små miljøer. Fordelene omfatter:

• Enkel implementering og feilsøking.
• Tydelig tolkning av forholdet mellom tilstander og handlinger.
• Lav beregningskostnad for små tilstands- og handlingsrom.

Q-tabeller har noen begrensninger:

• Skalerer ikke til miljøer med store tilstands- og handlingsrom.
• Krever betydelig minne for problemer med mange dimensjoner.
• Kan ikke generalisere på tvers av lignende tilstander.

I denne leksjonen:

• lærte vi om Q-tabell-konseptet og strukturen til Q-tabellen.
• utforsket vi hvordan Q-verdier oppdateres ved hjelp av Bellman-ligningen.
• diskuterte vi fordelene og begrensningene ved Q-tabeller.

Deretter skal vi implementere en enkel Q-Learning-algoritme i Python for å se Q-tabeller i praksis.