Méthodes acteur-critique (A2C)

Les méthodes Actor-Critic combinent deux idées : un actor (une politique qui choisit les actions) et un critic (une fonction de valeur qui les évalue). Le critic fournit un retour moins variable que les retours bruts, ce qui stabilise l'apprentissage.

L'actor est le réseau de politique. Il produit des scores d'action (ou des probabilités) pour l'état courant, exactement comme dans REINFORCE, puis décide de l'action à effectuer.

Le critic estime la valeur de l'état V(s) : le retour attendu à partir de l'état s. Il s'agit d'une tête à sortie unique qui prédit la qualité de la situation actuelle.

L'actor et le critic partagent généralement les premières couches (le tronc commun), puis se séparent en deux têtes. Le partage des représentations est efficace et permet aux deux tâches de renforcer les représentations utiles.

La quantité essentielle est l'avantage A = r + gamma * V(s') - V(s). Il mesure dans quelle mesure une action a été meilleure que ce que le critic avait prévu. Un avantage positif signifie « meilleur que la moyenne » ; un avantage négatif signifie que l'action est moins bonne.

Utiliser l'avantage plutôt que le retour complet G_t recentre le signal autour de l'estimation du critic, ce qui réduit considérablement la variance. C'est la principale raison pour laquelle l'apprentissage actor-critic est plus stable que celui de REINFORCE.

L'actor est entraîné comme dans REINFORCE, mais les actions sont pondérées par l'avantage plutôt que par le retour : augmentez la probabilité des actions dont l'avantage est positif.

Le critic apprend à prédire les retours avec précision. Sa perte est l'erreur quadratique entre sa prédiction V(s) et la cible observée r + gamma * V(s').

Entraînez les deux têtes ensemble en additionnant les pertes (souvent avec un petit bonus d'entropie pour favoriser l'exploration). Une seule rétropropagation met à jour le tronc commun et les deux têtes.

A2C (Advantage Actor-Critic) est la version synchrone : plusieurs processus parallèles recueillent simultanément de l'expérience à partir de copies de l'environnement, puis une seule mise à jour synchronisée utilise toutes leurs données, ce qui améliore la stabilité et le débit.

La variante asynchrone A3C permet aux processus de se mettre à jour indépendamment. A2C les synchronise, ce qui est plus simple, plus adapté au GPU et généralement tout aussi efficace, d'où sa popularité.

Testez votre compréhension de l'actor-critic.

Vous avez appris que l'actor produit les scores de la politique et que le critic estime V(s), souvent grâce à un tronc commun partagé avec deux têtes. L'avantage r + gamma*V(s') - V(s) réduit la variance, et l'A2C synchrone utilise des processus parallèles pour un entraînement stable et efficace.