Deep Q-learning

Deep Q-Learning

Deep Q-Learning är en utvidgning av Q-Learning som använder ett neuronnät för att approximera Q-tabellen. Det gör att förstärkningsinlärning kan skalas till miljöer med stora eller kontinuerliga tillstånds- och åtgärdsrymder.

Deep Q-Learning hanterar begränsningarna hos traditionell Q-Learning:

• Hanterar tillståndsrymder med många dimensioner, till exempel bilder.
• Eliminerar behovet av att lagra stora Q-tabeller i minnet.
• Generalisar mellan tillstånd med hjälp av neuronnät.

Deep Q-Learning använder ett neuronnät som kallas Q-nätverk för att approximera Q-värdena. De viktigaste stegen är:

1. Initiera Q-nätverket med slumpmässiga vikter.
2. Interagera med miljön för att samla in erfarenhetstublerna (state, action, reward, next_state).
3. Uppdatera Q-nätverket med hjälp av Bellman-ekvationen:

Q(s, a) ≈ r + γ max(Q(s', a'))

Q-nätverket är ett enkelt feedforward-neuronnät som tar det aktuella tillståndet som indata och matar ut Q-värden för alla möjliga åtgärder:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

Deep Q-Learning använder en teknik som kallas experience replay för att förbättra inlärningen:

• Lagra erfarenheter (state, action, reward, next_state) i en minnesbuffer.
• Välj slumpmässigt ut batcher med erfarenheter för att träna Q-nätverket.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Vi tränar Q-nätverket med hjälp av erfarenheterna från minnesbufferten:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

För att stabilisera träningen använder DQN ett målnätverk:

• Underhåll ett separat nätverk för att beräkna målets Q-värden.
• Kopiera regelbundet vikterna från Q-nätverket till målnätverket.

Deep Q-Learning har flera fördelar:

• Hanterar tillståndsrymder med många dimensioner, till exempel bilder.
• Generalisar mellan tillstånd med hjälp av neuronnät.
• Kan lösa komplexa uppgifter som Atari-spel och robotstyrning.

I den här lektionen:

• Utforskade vi grunderna i Deep Q-Learning.
• Byggde vi ett Q-nätverk för att approximera Q-värden.
• Diskuterade vi erfarenhetsåteruppspelning och målnätverk för stabil träning.

Härnäst utforskar vi OpenAI Gym och tillämpar förstärkningsinlärning i simulerade miljöer.