Deep Q-learning

Deep Q-learning to rozszerzenie algorytmu Q-learning, które wykorzystuje sieć neuronową do aproksymacji tabeli Q. Dzięki temu uczenie ze wzmocnieniem można skalować do środowisk z dużymi lub ciągłymi przestrzeniami stanów i akcji.

Dlaczego Deep Q-learning?

Deep Q-learning eliminuje ograniczenia tradycyjnego algorytmu Q-learning:

• Obsługuje wielowymiarowe przestrzenie stanów, na przykład obrazy.
• Eliminuje konieczność przechowywania dużych tabel Q w pamięci.
• Uogólnia wiedzę na różne stany za pomocą sieci neuronowych.

Algorytm DQN

Deep Q-learning wykorzystuje sieć neuronową nazywaną siecią Q do aproksymacji wartości Q. Główne kroki to:

1. Zainicjalizować sieć Q losowymi wagami.
2. Nawiązać interakcję ze środowiskiem, aby zebrać krotki doświadczeń (state, action, reward, next_state).
3. Zaktualizować sieć Q za pomocą równania Bellmana:

Q(s, a) ≈ r + γ max(Q(s', a'))

Budowanie sieci Q

Sieć Q to prosta jednokierunkowa sieć neuronowa, która przyjmuje bieżący stan jako dane wejściowe i zwraca wartości Q dla wszystkich możliwych działań:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

Experience replay

Deep Q-learning wykorzystuje technikę nazywaną experience replay, aby usprawnić uczenie:

• Przechowywać doświadczenia (state, action, reward, next_state) w buforze pamięci.
• Losowo pobierać partie doświadczeń do trenowania sieci Q.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Trenowanie sieci Q

Sieć Q jest trenowana z użyciem doświadczeń z bufora pamięci:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

Sieci docelowe

Aby ustabilizować proces uczenia, DQN wykorzystuje sieć docelową:

• Utrzymywać oddzielną sieć do obliczania docelowych wartości Q.
• Okresowo kopiować wagi z sieci Q do sieci docelowej.

Zalety Deep Q-learning

Deep Q-learning oferuje kilka korzyści:

• Obsługuje wielowymiarowe przestrzenie stanów, takie jak obrazy.
• Uogólnia wiedzę na różne stany za pomocą sieci neuronowych.
• Może rozwiązywać złożone zadania, takie jak gry Atari i sterowanie robotami.

Podsumowanie i kolejne kroki

W tej lekcji:

• Omówiono podstawy Deep Q-learning.
• Zbudowano sieć Q do aproksymacji wartości Q.
• Omówiono mechanizmy experience replay i sieci docelowych, które zapewniają stabilne uczenie.

W następnej kolejności omówimy OpenAI Gym i zastosujemy uczenie ze wzmocnieniem w symulowanych środowiskach.