Syvä Q-oppiminen

Syvä Q-oppiminen

Syvä Q-oppiminen on Q-oppimisen laajennus, jossa Q-taulukon approksimointiin käytetään neuroverkkoa. Tämä mahdollistaa vahvistusoppimisen skaalautumisen ympäristöihin, joissa tila- tai toimintotilat ovat suuria tai jatkuvia.

Syvä Q-oppiminen ratkaisee perinteisen Q-oppimisen rajoituksia:

• Se käsittelee korkeadimensioisia tiloja, kuten kuvia.
• Se poistaa tarpeen tallentaa suuria Q-taulukoita muistiin.
• Se yleistää tilojen välillä neuroverkkojen avulla.

Syvässä Q-oppimisessa Q-arvojen approksimointiin käytetään neuroverkkoa nimeltä Q-verkko. Sen tärkeimmät vaiheet ovat:

1. Alusta Q-verkko satunnaisilla painoilla.
2. Ole vuorovaikutuksessa ympäristön kanssa ja kerää kokemustuplia (state, action, reward, next_state).
3. Päivitä Q-verkko Bellmanin yhtälön avulla:

Q(s, a) ≈ r + γ max(Q(s', a'))

Q-verkko on yksinkertainen eteenpäin syötettävä neuroverkko, joka ottaa nykyisen tilan syötteenä ja tuottaa Q-arvot kaikille mahdollisille toiminnoille:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

Syvässä Q-oppimisessa käytetään kokemusten toistoksi kutsuttua tekniikkaa oppimisen tehostamiseksi:

• Tallenna kokemukset (state, action, reward, next_state) muistipuskuriin.
• Poimi kokemuksista satunnaisesti eriä Q-verkon kouluttamista varten.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Koulutamme Q-verkon muistipuskurin kokemusten avulla:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

Koulutuksen vakauttamiseksi DQN käyttää kohdeverkkoa:

• Pidä erillistä verkkoa kohde-Q-arvojen laskemista varten.
• Kopioi Q-verkon painot kohdeverkkoon säännöllisin väliajoin.

Syvällä Q-oppimisella on useita etuja:

• Se käsittelee korkeadimensioisia tiloja, kuten kuvia.
• Se yleistää tilojen välillä neuroverkkojen avulla.
• Se voi ratkaista monimutkaisia tehtäviä, kuten Atari-pelejä ja robottien ohjausta.

Tässä oppitunnissa:

• tutustuimme syvän Q-oppimisen perusteisiin.
• rakensimme Q-verkon Q-arvojen approksimointia varten.
• keskustelimme kokemusten toistosta ja kohdeverkoista vakaan koulutuksen menetelminä.

Seuraavaksi tutustumme OpenAI Gymiin ja sovellamme vahvistusoppimista simuloiduissa ympäristöissä.