Deep Q-learning

Deep Q-Learning

Deep Q-Learning er en utvidelse av Q-Learning som bruker et nevralt nettverk til å tilnærme Q-tabellen. Dette gjør at forsterkende læring kan skaleres til miljøer med store eller kontinuerlige tilstands- og handlingsrom.

Deep Q-Learning løser begrensningene ved tradisjonell Q-Learning:

• Håndterer tilstandsrom med mange dimensjoner, for eksempel bilder.
• Unngår behovet for å lagre store Q-tabeller i minnet.
• Generalisere på tvers av tilstander ved hjelp av nevrale nettverk.

Deep Q-Learning bruker et nevralt nettverk kalt Q-Network til å tilnærme Q-verdiene. Hovedtrinnene er:

1. Initialiser Q-Network med tilfeldige vekter.
2. Samhandle med miljøet for å samle erfarings-tupler (state, action, reward, next_state).
3. Oppdater Q-Network ved hjelp av Bellman-ligningen:

Q(s, a) ≈ r + γ max(Q(s', a'))

Q-Network er et enkelt fremoverkoblet nevralt nettverk som tar den nåværende tilstanden som input og gir Q-verdier for alle mulige handlinger som output:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

Deep Q-Learning bruker en teknikk kalt experience replay for å forbedre læringen:

• Lagres erfaringer (state, action, reward, next_state) i en minnebuffer.
• Trekk ut tilfeldige grupper med erfaringer for å trene Q-Network.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Vi trener Q-Network ved hjelp av erfaringene fra minnebufferen:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

For å stabilisere treningen bruker DQN et målnettverk:

• Vedlikehold et separat nettverk for beregning av mål-Q-verdier.
• Kopier med jevne mellomrom vekter fra Q-Network til målnettverket.

Deep Q-Learning har flere fordeler:

• Håndterer tilstandsrom med mange dimensjoner, for eksempel bilder.
• Generalisere på tvers av tilstander ved hjelp av nevrale nettverk.
• Kan løse komplekse oppgaver som Atari-spill og robotstyring.

I denne leksjonen:

• utforsket vi det grunnleggende i Deep Q-Learning.
• bygde vi et Q-Network for å tilnærme Q-verdier.
• diskuterte vi experience replay og målnettverk for stabil trening.

Deretter skal vi utforske OpenAI Gym og bruke forsterkende læring i simulerte miljøer.