Q-taulun käsite

Q-taulukon käsite

Q-taulukko on vahvistusoppimisen keskeinen käsite. Se on hakutaulukko, jonka jokainen alkio edustaa tietyn toiminnon suorittamisesta tietyssä tilassa saatavaa odotettua palkkiota.

Tavoitteena on oppia Q-arvot, joiden avulla agentti voi valita parhaat toiminnot mahdollisimman suurten palkkioiden saavuttamiseksi.

Q-taulukko rakentuu seuraavasti:

• Rivit: Kuvaavat ympäristön tiloja.
• Sarakkeet: Kuvaavat agentin käytettävissä olevia toimintoja.
• Arvot: Kuvaavat tila–toiminto-parien Q-arvoa.

Agentti päivittää näitä arvoja oppimisen aikana.

Q-arvot päivitetään Bellmanin yhtälön avulla:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Jossa:

• s: Nykyinen tila
• a: Nykyinen toiminto
• r: Toiminnosta saatava palkkio
• s': Seuraava tila
• α: Oppimisnopeus
• γ: Diskonttauskerroin

Tarkastellaan ruudukko-ympäristön Q-taulukkoa:

Tilat: Ruudukon sijainnit, kuten A1 ja B1

Toiminnot: Siirtyminen ylös, alas, vasemmalle tai oikealle

Aluksi kaikkien Q-arvojen arvoksi asetetaan nolla:

Tila	Ylös	Alas	Vasen	Oikea
A1	0	0	0	0
B1	0	0	0	0

Voimme esittää Q-taulukon NumPy-taulukon tai sanakirjan avulla:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Agentti käyttää ε-greedy-politiikkaa tasapainottaakseen tutkimista ja hyödyntämistä:

• Todennäköisyydellä ε valitaan satunnainen toiminto (tutkiminen).
• Todennäköisyydellä 1-ε valitaan toiminto, jolla on suurin Q-arvo (hyödyntäminen).

Q-taulukot ovat yksinkertaisia ja tehokkaita pienissä ympäristöissä. Niiden etuja ovat:

• Helppo toteutus ja virheenkorjaus.
• Tila–toiminto-suhteiden selkeä tulkinta.
• Pieni laskennallinen kustannus pienissä tila–toiminto-avaruuksissa.

Q-taulukoilla on joitakin rajoituksia:

• Ne eivät skaalaudu ympäristöihin, joissa tila–toimintotiloja on paljon.
• Ne vaativat paljon muistia korkeadimensioisissa ongelmissa.
• Ne eivät pysty yleistämään samankaltaisten tilojen välillä.

Tässä oppitunnissa:

• opimme Q-taulukon käsitteen ja rakenteen.
• tutustuimme siihen, miten Q-arvoja päivitetään Bellmanin yhtälön avulla.
• keskustelimme Q-taulukoiden eduista ja rajoituksista.

Seuraavaksi toteutamme yksinkertaisen Q-oppimisalgoritmin Pythonilla nähdäksemme Q-taulukot käytännössä.