Concepto de tabla Q

La tabla Q es un concepto fundamental del aprendizaje por refuerzo. Es una tabla de consulta en la que cada entrada representa la recompensa esperada de realizar una acción específica en un estado determinado.

El objetivo es aprender los valores Q, que guían al agente para realizar las mejores acciones y obtener las máximas recompensas.

Estructura de una tabla Q

La tabla Q se estructura de la siguiente manera:

• Filas: Representan los estados del entorno.
• Columnas: Representan las acciones disponibles para el agente.
• Valores: Representan el valor Q de cada par estado-acción.

El agente actualiza estos valores durante el aprendizaje.

Fórmula de actualización del valor Q

Los valores Q se actualizan mediante la ecuación de Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Donde:

• s: Estado actual
• a: Acción actual
• r: Recompensa por la acción
• s': Estado siguiente
• α: Tasa de aprendizaje
• γ: Factor de descuento

Ejemplo de una tabla Q sencilla

Considere una tabla Q para un mundo cuadriculado:

Estados: Posiciones de la cuadrícula (por ejemplo, A1, B1)

Acciones: Moverse arriba, abajo, a la izquierda o a la derecha

Inicialmente, todos los valores Q se establecen en cero:

Estado	Arriba	Abajo	Izquierda	Derecha
A1	0	0	0	0
B1	0	0	0	0

Inicialización de una tabla Q en Python

Podemos representar una tabla Q mediante un arreglo de NumPy o un diccionario:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Exploración en Q-Learning

El agente utiliza una política ε-greedy para equilibrar la exploración y la explotación:

• Con una probabilidad de ε, elige una acción aleatoria (exploración).
• Con una probabilidad de 1-ε, elige la acción con el valor Q más alto (explotación).

Ventajas de las tablas Q

Las tablas Q son sencillas y eficaces para entornos pequeños. Entre sus ventajas se incluyen:

• Facilidad de implementación y depuración.
• Interpretación clara de las relaciones entre estados y acciones.
• Bajo costo computacional para espacios pequeños de estados y acciones.

Limitaciones de las tablas Q

Las tablas Q presentan algunas limitaciones:

• No son escalables a entornos con espacios grandes de estados y acciones.
• Requieren una cantidad considerable de memoria para problemas de alta dimensionalidad.
• No pueden generalizar entre estados similares.

Resumen y próximos pasos

En esta lección:

• Aprendimos el concepto de tabla Q y su estructura.
• Exploramos cómo se actualizan los valores Q mediante la ecuación de Bellman.
• Analizamos las ventajas y limitaciones de las tablas Q.

A continuación, implementaremos un algoritmo sencillo de Q-Learning en Python para ver las tablas Q en acción.