Deep Q-learning

Deep Q-Learning

Deep Q-Learning is een uitbreiding van Q-Learning die een neuraal netwerk gebruikt om de Q-tabel te benaderen. Hierdoor kan versterkingsleren worden opgeschaald naar omgevingen met grote of continue toestand-actieruimten.

Deep Q-Learning ondervangt de beperkingen van traditioneel Q-Learning:

• Kan omgaan met toestandruimten met veel dimensies, zoals afbeeldingen.
• Maakt het overbodig om grote Q-tabellen in het geheugen op te slaan.
• Generaliseert over toestanden met behulp van neurale netwerken.

Deep Q-Learning gebruikt een neuraal netwerk, het Q-Network, om de Q-waarden te benaderen. De belangrijkste stappen zijn:

1. Initialiseer het Q-Network met willekeurige gewichten.
2. Wissel gegevens uit met de omgeving om ervaringstupels (state, action, reward, next_state) te verzamelen.
3. Werk het Q-Network bij met de Bellman-vergelijking:

Q(s, a) ≈ r + γ max(Q(s', a'))

Het Q-Network is een eenvoudig feedforward-neuraal netwerk dat de huidige toestand als invoer neemt en Q-waarden voor alle mogelijke acties uitvoert:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

Deep Q-Learning gebruikt een techniek die ervaringen herhalen wordt genoemd om het leren te verbeteren:

• Sla ervaringen (state, action, reward, next_state) op in een geheugenbuffer.
• Neem willekeurige batches van ervaringen om het Q-Network te trainen.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

We trainen het Q-Network met de ervaringen uit de geheugenbuffer:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

Om het trainen stabieler te maken gebruikt DQN een doelnetwerk:

• Houd een afzonderlijk netwerk bij voor het berekenen van doel-Q-waarden.
• Kopieer periodiek de gewichten van het Q-Network naar het doelnetwerk.

Deep Q-Learning biedt verschillende voordelen:

• Kan omgaan met toestandruimten met veel dimensies, zoals afbeeldingen.
• Generaliseert over toestanden met behulp van neurale netwerken.
• Kan complexe taken oplossen, zoals Atari-spellen en robotbesturing.

In deze les hebben we:

• De basisprincipes van Deep Q-Learning verkend.
• Een Q-Network gebouwd om Q-waarden te benaderen.
• Besproken hoe het herhalen van ervaringen en doelnetwerken zorgen voor stabiel trainen.

Vervolgens verkennen we OpenAI Gym en passen we versterkingsleren toe in gesimuleerde omgevingen.