Q-taulukon käsite

Q-arvot päivitetään Bellmanin yhtälön avulla:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Jossa:

• s: Nykyinen tila
• a: Nykyinen toiminto
• r: Toiminnosta saatava palkkio
• s': Seuraava tila
• α: Oppimisnopeus
• γ: Diskonttaustekijä

Tarkastellaan ruudukkomaailman Q-taulukkoa:

Tilat: Ruudukon sijainnit (esimerkiksi A1, B1)

Toiminnot: Siirtyä ylös, alas, vasemmalle tai oikealle

Aluksi kaikkien Q-arvojen arvoksi asetetaan nolla:

Tila	Ylös	Alas	Vasemmalle	Oikealle
A1	0	0	0	0
B1	0	0	0	0

Q-taulukko voidaan esittää NumPy-taulukkona tai sanakirjana:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Agentti käyttää ε-greedy-politiikkaa tutkimisen ja hyödyntämisen tasapainottamiseen:

• Todennäköisyydellä ε valitaan satunnainen toiminto (tutkiminen).
• Todennäköisyydellä 1-ε valitaan toiminto, jolla on suurin Q-arvo (hyödyntäminen).

Q-taulukot ovat yksinkertaisia ja tehokkaita pienissä ympäristöissä. Niiden etuja ovat:

• Helppo toteutus ja virheenkorjaus.
• Tila-toimintosuhteiden selkeä tulkinta.
• Pieni laskennallinen kustannus, kun tila- ja toimintatiloja on vähän.

Q-taulukoilla on joitakin rajoituksia:

• Ne eivät skaalaudu ympäristöihin, joissa tila- ja toimintatiloja on paljon.
• Ne vaativat paljon muistia korkeaulotteisissa ongelmissa.
• Ne eivät pysty yleistämään tietoa samankaltaisiin tiloihin.

Tässä oppitunnissa:

• Opimme Q-taulukon käsitteen ja rakenteen.
• Tutustuimme siihen, miten Q-arvoja päivitetään Bellmanin yhtälön avulla.
• Käsittelimme Q-taulukoiden etuja ja rajoituksia.

Seuraavaksi toteutamme Pythonilla yksinkertaisen Q-oppimisalgoritmin ja näemme Q-taulukot käytännössä.