Deep Q-Learning

Il Deep Q-Learning è un'estensione del Q-Learning che utilizza una rete neurale per approssimare la Q-Table. Questo consente all'apprendimento per rinforzo di operare in ambienti con spazi stato-azione grandi o continui.

Perché il Deep Q-Learning?

Il Deep Q-Learning supera i limiti del Q-Learning tradizionale:

• Gestisce spazi degli stati ad alta dimensionalità, ad esempio le immagini.
• Evita la necessità di memorizzare Q-Table di grandi dimensioni.
• Generalizza tra gli stati utilizzando reti neurali.

L'algoritmo DQN

Il Deep Q-Learning utilizza una rete neurale chiamata Q-Network per approssimare i valori Q. I passaggi principali sono:

1. Inizializzare la Q-Network con pesi casuali.
2. Interagire con l'ambiente per raccogliere tuple di esperienze (state, action, reward, next_state).
3. Aggiornare la Q-Network utilizzando l'equazione di Bellman:

Q(s, a) ≈ r + γ max(Q(s', a'))

Creazione della Q-Network

La Q-Network è una semplice rete neurale feedforward che riceve lo stato corrente come input e restituisce i valori Q per tutte le azioni possibili:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

Experience replay

Il Deep Q-Learning utilizza una tecnica chiamata experience replay per migliorare l'apprendimento:

• Memorizzare le esperienze (state, action, reward, next_state) in un buffer di memoria.
• Campionare casualmente batch di esperienze per addestrare la Q-Network.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Addestramento della Q-Network

Addestriamo la Q-Network utilizzando le esperienze contenute nel buffer di memoria:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

Reti target

Per stabilizzare l'addestramento, DQN utilizza una rete target:

• Mantenere una rete separata per calcolare i valori Q target.
• Copiare periodicamente i pesi dalla Q-Network alla rete target.

Vantaggi del Deep Q-Learning

Il Deep Q-Learning offre diversi vantaggi:

• Gestisce spazi degli stati ad alta dimensionalità, come le immagini.
• Generalizza tra gli stati utilizzando reti neurali.
• Può risolvere attività complesse, come i giochi Atari e il controllo robotico.

Riepilogo e prossimi passi

In questa lezione:

• Abbiamo esplorato le nozioni di base del Deep Q-Learning.
• Abbiamo creato una Q-Network per approssimare i valori Q.
• Abbiamo discusso l'experience replay e le reti target per ottenere un addestramento stabile.

Successivamente esploreremo OpenAI Gym e applicheremo l'apprendimento per rinforzo in ambienti simulati.