Concept de table Q

La table Q est un concept essentiel de l’apprentissage par renforcement. Il s’agit d’une table de consultation dans laquelle chaque entrée représente la récompense attendue pour l’exécution d’une action donnée dans un état donné.

L’objectif est d’apprendre les valeurs Q, qui guident l’agent vers les meilleures actions afin de maximiser les récompenses.

Structure d’une table Q

La table Q est structurée comme suit :

• Lignes : Représentent les états de l’environnement.
• Colonnes : Représentent les actions disponibles pour l’agent.
• Valeurs : Représentent la valeur Q des couples état-action.

L’agent met à jour ces valeurs au cours de l’apprentissage.

Formule de mise à jour de la valeur Q

Les valeurs Q sont mises à jour à l’aide de l’équation de Bellman :

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Où :

• s : État actuel
• a : Action actuelle
• r : Récompense associée à l’action
• s' : État suivant
• α : Taux d’apprentissage
• γ : Facteur d’actualisation

Exemple de table Q simple

Considérons une table Q pour un monde en grille :

États : Positions dans la grille, par exemple A1 et B1

Actions : Se déplacer vers le haut, le bas, la gauche ou la droite

Initialement, toutes les valeurs Q sont définies sur zéro :

État	Haut	Bas	Gauche	Droite
A1	0	0	0	0
B1	0	0	0	0

Initialisation d’une table Q en Python

Nous pouvons représenter une table Q à l’aide d’un tableau NumPy ou d’un dictionnaire :

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Exploration dans l’apprentissage Q

L’agent utilise une politique ε-gloutonne pour trouver un équilibre entre l’exploration et l’exploitation :

• Avec une probabilité de ε, choisir une action aléatoire (exploration).
• Avec une probabilité de 1-ε, choisir l’action ayant la valeur Q la plus élevée (exploitation).

Avantages des tables Q

Les tables Q sont simples et efficaces pour les petits environnements. Leurs avantages comprennent :

• Une mise en œuvre et un débogage faciles.
• Une interprétation claire des relations entre les états et les actions.
• Un faible coût de calcul pour les espaces comportant peu de couples état-action.

Limites des tableaux Q

Les tableaux Q présentent certaines limites :

• Ils ne sont pas adaptés aux environnements dont les espaces état-action sont vastes.
• Ils nécessitent beaucoup de mémoire pour les problèmes de grande dimension.
• Ils ne peuvent pas généraliser à partir d’états similaires.

Résumé et prochaines étapes

Dans cette leçon, nous avons :

• découvert le concept de tableau Q et sa structure ;
• étudié la mise à jour des valeurs Q à l’aide de l’équation de Bellman ;
• examiné les avantages et les limites des tableaux Q.

Ensuite, nous implémenterons un algorithme simple d’apprentissage Q en Python pour observer les tableaux Q en action.