Concept de la table Q

La table Q est un concept central de l’apprentissage par renforcement. Il s’agit d’une table de consultation dont chaque entrée représente la récompense attendue pour l’exécution d’une action donnée dans un état donné.

L’objectif est d’apprendre les valeurs Q, qui guident l’agent afin qu’il effectue les meilleures actions pour obtenir des récompenses maximales.

Structure d’une table Q

La table Q est structurée comme suit :

• Lignes : représentent les états de l’environnement.
• Colonnes : représentent les actions disponibles pour l’agent.
• Valeurs : représentent la valeur Q des couples état-action.

L’agent met à jour ces valeurs au cours de l’apprentissage.

Formule de mise à jour de la valeur Q

Les valeurs Q sont mises à jour à l’aide de l’équation de Bellman :

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Où :

• s : état actuel
• a : action actuelle
• r : récompense associée à l’action
• s' : état suivant
• α : taux d’apprentissage
• γ : facteur d’actualisation

Exemple de table Q simple

Considérons une table Q pour un monde en grille :

États : positions de la grille (par exemple, A1, B1)

Actions : se déplacer vers le haut, le bas, la gauche ou la droite

Initialement, toutes les valeurs Q sont définies sur zéro :

État	Haut	Bas	Gauche	Droite
A1	0	0	0	0
B1	0	0	0	0

Initialisation d’une table Q en Python

Nous pouvons représenter une table Q à l’aide d’un tableau NumPy ou d’un dictionnaire :

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Exploration dans l’apprentissage Q

L’agent utilise une politique ε-gloutonne pour équilibrer l’exploration et l’exploitation :

• avec une probabilité ε, l’agent choisit une action aléatoire (exploration) ;
• avec une probabilité 1-ε, l’agent choisit l’action dont la valeur Q est la plus élevée (exploitation).

Avantages des tables Q

Les tables Q sont simples et efficaces pour les petits environnements. Elles présentent notamment les avantages suivants :

• mise en œuvre et débogage faciles ;
• interprétation claire des relations entre les états et les actions ;
• faible coût de calcul pour les espaces état-action de petite taille.

Limites des tables Q

Les tables Q présentent certaines limites :

• elles ne passent pas à l’échelle pour les environnements comportant de grands espaces état-action ;
• elles nécessitent une quantité importante de mémoire pour les problèmes de grande dimension ;
• elles ne peuvent pas généraliser les connaissances à des états similaires.

Résumé et prochaines étapes

Dans cette leçon, nous avons :

• étudié le concept de la table Q et sa structure ;
• exploré la mise à jour des valeurs Q à l’aide de l’équation de Bellman ;
• examiné les avantages et les limites des tables Q.

Ensuite, nous mettrons en œuvre un algorithme simple d’apprentissage Q en Python afin d’observer les tables Q en action.