Deep Q-learning

Deep Q-learning

Deep Q-learning er en udvidelse af Q-learning, der bruger et neuralt netværk til at tilnærme Q-tabellen. Det gør det muligt for reinforcement learning at skalere til miljøer med store eller kontinuerte tilstands-handlingsrum.

Deep Q-learning afhjælper begrænsningerne ved traditionel Q-learning:

• Håndterer tilstandsrum med mange dimensioner, f.eks. billeder.
• Undgår behovet for at gemme store Q-tabeller i hukommelsen.
• Generaliserer på tværs af tilstande ved hjælp af neurale netværk.

Deep Q-learning bruger et neuralt netværk kaldet Q-netværket til at tilnærme Q-værdierne. De vigtigste trin er:

1. Initialiser Q-netværket med tilfældige vægte.
2. Interager med miljøet for at indsamle erfarings-tupler (state, action, reward, next_state).
3. Opdater Q-netværket ved hjælp af Bellman-ligningen:

Q(s, a) ≈ r + γ max(Q(s', a'))

Q-netværket er et simpelt neuralt netværk, der sender data fremad. Det tager den aktuelle tilstand som input og giver Q-værdier for alle mulige handlinger som output:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

Deep Q-learning bruger en teknik kaldet genafspilning af erfaringer til at forbedre læringen:

• Gem erfaringer (state, action, reward, next_state) i en hukommelsesbuffer.
• Udtag tilfældige grupper af erfaringer for at træne Q-netværket.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Vi træner Q-netværket ved hjælp af erfaringerne fra hukommelsesbufferen:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

For at stabilisere træningen bruger DQN et målnetværk:

• Vedligehold et separat netværk til beregning af mål-Q-værdier.
• Kopiér med jævne mellemrum vægte fra Q-netværket til målnetværket.

Deep Q-learning har flere fordele:

• Håndterer tilstandsrum med mange dimensioner, f.eks. billeder.
• Generaliserer på tværs af tilstande ved hjælp af neurale netværk.
• Kan løse komplekse opgaver som Atari-spil og robotstyring.

I denne lektion:

• Undersøgte du det grundlæggende i deep Q-learning.
• Byggede du et Q-netværk til at tilnærme Q-værdier.
• Gennemgik du genafspilning af erfaringer og målnetværk til stabil træning.

Derefter undersøger vi OpenAI Gym og anvender reinforcement learning i simulerede miljøer.