Proximal Policy Optimization (PPO)

PPO è oggi l'algoritmo RL predefinito: stabile, efficiente nell'uso dei campioni e facile da regolare. Risolve un problema fondamentale dei gradienti della policy, ovvero gli aggiornamenti troppo ampi che compromettono la policy, limitando quanto la policy può cambiare a ogni aggiornamento.

Un singolo aggiornamento della policy eccessivamente ampio può far crollare le prestazioni e, poiché l'RL è on-policy, il recupero è difficile. PPO mantiene ogni aggiornamento prossimo (vicino) alla policy corrente per procedere in sicurezza.

PPO tiene traccia del rapporto tra le probabilità della nuova e della vecchia azione: ratio = pi_new(a|s) / pi_old(a|s). Un rapporto vicino a 1 indica che la policy è cambiata poco; un rapporto lontano da 1 indica un cambiamento rilevante.

La caratteristica distintiva di PPO è la funzione obiettivo surrogata con clipping. Moltiplica il rapporto per il vantaggio, ma applica il clipping al rapporto nell'intervallo [1-eps, 1+eps], eliminando l'incentivo a modificare troppo la policy.

eps (in genere 0.2) è la soglia di clipping. Limita quanto il rapporto può allontanarsi da 1, così, anche quando il vantaggio è elevato, l'aggiornamento della policy rimane limitato e stabile.

Prendere il min tra l'obiettivo con clipping e quello senza clipping rende il limite pessimistico: i miglioramenti oltre l'intervallo di clipping non danno ricompense aggiuntive, quindi l'ottimizzatore non ha motivo di andare oltre il limite.

PPO stima i vantaggi con GAE, che combina ritorni su più passi usando i parametri gamma e lambda. GAE bilancia bias e varianza per fornire stime del vantaggio uniformi e affidabili.

A differenza di REINFORCE, PPO riutilizza ogni batch di dati raccolti per diverse epoche di ottimizzazione. Il clipping rende questa procedura sicura, migliorando notevolmente l'efficienza nell'uso dei campioni.

Nella pratica, raramente si implementa PPO a mano. Stable-Baselines3 fornisce un'implementazione collaudata. Create l'oggetto specificando il tipo di policy, l'ambiente e il livello di verbosità, quindi chiamate learn.

Dopo l'addestramento, usate predict per ottenere le azioni relative a nuove osservazioni. Impostate deterministic=True durante la valutazione per scegliere l'azione più probabile invece di eseguire un campionamento.

PPO combina aggiornamenti stabili con clipping, vantaggi GAE e riutilizzo dei dati in un algoritmo robusto e generale, che funziona su molte attività con una regolazione minima. Per questo viene utilizzato in applicazioni che spaziano dalla robotica all'RLHF.

Verificate la vostra comprensione di PPO.

Avete imparato a usare la funzione obiettivo surrogata con clipping di PPO, basata sul rapporto tra le probabilità e su una soglia di clipping eps per limitare gli aggiornamenti, oltre a GAE per la stima del vantaggio e al riutilizzo dei dati su più epoche. Avete eseguito PPO facilmente con PPO("MlpPolicy", env, verbose=1) in Stable-Baselines3.