Q-tabellens koncept

Q-tabellkonceptet

Q-tabellen är ett centralt begrepp inom förstärkningsinlärning. Det är en uppslagstabell där varje post representerar den förväntade belöningen för att utföra en specifik handling i ett givet tillstånd.

Målet är att lära sig Q-värdena, som vägleder agenten till att utföra de bästa handlingarna för så stora belöningar som möjligt.

Q-tabellen är strukturerad så här:

• Rader: Representerar miljöns tillstånd.
• Kolumner: Representerar handlingar som är tillgängliga för agenten.
• Värden: Representerar Q-värdet för tillstånd–handlingspar.

Agenten uppdaterar dessa värden under inlärningen.

Q-värden uppdateras med Bellman-ekvationen:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Där:

• s: Aktuellt tillstånd
• a: Aktuell handling
• r: Belöningen för handlingen
• s': Nästa tillstånd
• α: Inlärningshastighet
• γ: Diskonteringsfaktor

Betrakta en Q-tabell för en rutnätsvärld:

Tillstånd: Positioner i rutnätet (t.ex. A1, B1)

Handlingar: Flytta uppåt, nedåt, åt vänster, åt höger

Inledningsvis är alla Q-värden satta till noll:

Tillstånd	Uppåt	Nedåt	Vänster	Höger
A1	0	0	0	0
B1	0	0	0	0

Vi kan representera en Q-tabell med hjälp av en NumPy-array eller en dictionary:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Agenten använder en ε-greedy-policy för att balansera utforskning och exploatering:

• Med sannolikheten ε väljer agenten en slumpmässig handling (utforskning).
• Med sannolikheten 1-ε väljer agenten handlingen med det högsta Q-värdet (exploatering).

Q-tabeller är enkla och effektiva för små miljöer. Fördelarna är bland annat:

• Enkel implementering och felsökning.
• Tydlig tolkning av relationer mellan tillstånd och handlingar.
• Låg beräkningskostnad för små tillstånds- och handlingsutrymmen.

Q-tabeller har vissa begränsningar:

• Skalar inte till miljöer med stora tillstånds- och åtgärdsrymder.
• Kräver mycket minne för problem med många dimensioner.
• Kan inte generalisera mellan liknande tillstånd.

I den här lektionen:

• Lärde vi oss om Q-tabellens koncept och struktur.
• Utforskade vi hur Q-värden uppdateras med Bellman-ekvationen.
• Diskuterade vi fördelarna och begränsningarna med Q-tabeller.

Härnäst implementerar vi en enkel Q-Learning-algoritm i Python för att se Q-tabeller i praktiken.