Concepto de tabla Q

La tabla Q es un concepto fundamental del aprendizaje por refuerzo. Es una tabla de consulta en la que cada entrada representa la recompensa esperada de realizar una acción específica en un estado determinado.

El objetivo es aprender los valores Q, que guían al agente para que lleve a cabo las mejores acciones y maximice las recompensas.

Estructura de una tabla Q

La tabla Q se estructura de la siguiente manera:

• Filas: Representan los estados del entorno.
• Columnas: Representan las acciones disponibles para el agente.
• Valores: Representan el valor Q de cada par estado-acción.

El agente actualiza estos valores durante el aprendizaje.

Fórmula de actualización del valor Q

Los valores Q se actualizan mediante la ecuación de Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Donde:

• s: Estado actual
• a: Acción actual
• r: Recompensa de la acción
• s': Estado siguiente
• α: Tasa de aprendizaje
• γ: Factor de descuento

Ejemplo de una tabla Q sencilla

Considere una tabla Q para un mundo cuadriculado:

Estados: Posiciones de la cuadrícula (p. ej., A1, B1)

Acciones: Moverse arriba, abajo, a la izquierda o a la derecha

Inicialmente, todos los valores Q se establecen en cero:

Estado	Arriba	Abajo	Izquierda	Derecha
A1	0	0	0	0
B1	0	0	0	0

Inicialización de una tabla Q en Python

Podemos representar una tabla Q mediante un array de NumPy o un diccionario:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Exploración en Q-Learning

El agente utiliza una política ε-greedy para equilibrar la exploración y la explotación:

• Con probabilidad ε, elige una acción aleatoria (exploración).
• Con probabilidad 1-ε, elige la acción con el valor Q más alto (explotación).

Ventajas de las tablas Q

Las tablas Q son sencillas y eficaces para entornos pequeños. Entre sus ventajas se incluyen:

• Implementación y depuración sencillas.
• Interpretación clara de las relaciones entre estados y acciones.
• Bajo coste computacional para espacios pequeños de estados y acciones.

Limitaciones de las tablas Q

Las tablas Q tienen algunas limitaciones:

• No son escalables a entornos con grandes espacios de estados y acciones.
• Requieren una cantidad considerable de memoria para problemas de alta dimensionalidad.
• No pueden generalizar entre estados similares.

Resumen y próximos pasos

En esta lección:

• Aprendimos el concepto de tabla Q y su estructura.
• Exploramos cómo se actualizan los valores Q mediante la ecuación de Bellman.
• Analizamos las ventajas y limitaciones de las tablas Q.

A continuación, implementaremos un algoritmo sencillo de Q-Learning en Python para ver las tablas Q en acción.