Deep Q-Learning

Deep Q-Learning es una extensión de Q-Learning que utiliza una red neuronal para aproximar la tabla Q. Esto permite que el aprendizaje por refuerzo se adapte a entornos con espacios de estados y acciones grandes o continuos.

¿Por qué Deep Q-Learning?

Deep Q-Learning aborda las limitaciones del Q-Learning tradicional:

• Gestiona espacios de estados de alta dimensionalidad, como las imágenes.
• Evita la necesidad de almacenar tablas Q grandes en memoria.
• Generaliza entre estados mediante redes neuronales.

El algoritmo DQN

Deep Q-Learning utiliza una red neuronal llamada Q-Network para aproximar los valores Q. Los pasos principales son:

1. Inicializar la Q-Network con pesos aleatorios.
2. Interactuar con el entorno para recopilar tuplas de experiencia (state, action, reward, next_state).
3. Actualizar la Q-Network mediante la ecuación de Bellman:

Q(s, a) ≈ r + γ max(Q(s', a'))

Construcción de la Q-Network

La Q-Network es una red neuronal sencilla de propagación hacia delante que recibe el estado actual como entrada y produce valores Q para todas las acciones posibles:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

Repetición de experiencias

Deep Q-Learning utiliza una técnica llamada repetición de experiencias para mejorar el aprendizaje:

• Almacenar experiencias (state, action, reward, next_state) en un búfer de memoria.
• Seleccionar aleatoriamente lotes de experiencias para entrenar la Q-Network.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Entrenamiento de la Q-Network

Entrenamos la Q-Network mediante las experiencias del búfer de memoria:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

Redes objetivo

Para estabilizar el entrenamiento, DQN utiliza una red objetivo:

• Mantener una red independiente para calcular los valores Q objetivo.
• Copiar periódicamente los pesos de la Q-Network a la red objetivo.

Ventajas de Deep Q-Learning

Deep Q-Learning ofrece varias ventajas:

• Gestiona espacios de estados de alta dimensionalidad, como las imágenes.
• Generaliza entre estados mediante redes neuronales.
• Puede resolver tareas complejas, como juegos de Atari y el control robótico.

Resumen y próximos pasos

En esta lección:

• Exploramos los conceptos básicos de Deep Q-Learning.
• Construimos una Q-Network para aproximar los valores Q.
• Analizamos la repetición de experiencias y las redes objetivo para lograr un entrenamiento estable.

A continuación, exploraremos OpenAI Gym y aplicaremos el aprendizaje por refuerzo en entornos simulados.