Proximal Policy Optimization (PPO)

PPO ist heute der Standardalgorithmus für RL: stabil, stichprobeneffizient und einfach zu justieren. Er behebt ein grundlegendes Problem von Policy-Gradient-Verfahren – zu große Updates, die die Policy zerstören –, indem er begrenzt, wie stark sich die Policy pro Update ändern darf.

Ein einziges übermäßig großes Policy-Update kann die Leistung einbrechen lassen, und da RL on-policy ist, ist die Erholung schwierig. PPO hält jedes Update proximal (also nahe) an der aktuellen Policy, um auf der sicheren Seite zu bleiben.

PPO verfolgt das Verhältnis der neuen zu den alten Aktionswahrscheinlichkeiten: ratio = pi_new(a|s) / pi_old(a|s). Ein Verhältnis nahe 1 bedeutet, dass sich die Policy kaum geändert hat; ein Wert weit von 1 weist auf eine große Änderung hin.

Das charakteristische Merkmal von PPO ist das geclippte Surrogat-Ziel. Es multipliziert das Verhältnis mit der Advantage, clippt das Verhältnis jedoch auf [1-eps, 1+eps]. Dadurch entfällt der Anreiz, die Policy zu stark zu verändern.

eps (typischerweise 0.2) ist der Clip-Schwellenwert. Er begrenzt, wie weit sich das Verhältnis von 1 entfernen darf. Selbst bei einer großen Advantage bleibt das Policy-Update dadurch begrenzt und stabil.

Wenn Sie das min aus dem gecl ersten und dem ungeclippten Ziel nehmen, wird die Begrenzung pessimistisch: Verbesserungen außerhalb des Clip-Bereichs bringen keine zusätzliche Belohnung, sodass der Optimierer keinen Grund hat, über das Ziel hinauszuschießen.

PPO schätzt Advantages mit GAE, das mehrstufige Returns mithilfe der Parameter gamma und lambda kombiniert. GAE bildet einen Kompromiss zwischen Bias und Varianz und liefert dadurch gleichmäßige, zuverlässige Advantage-Schätzungen.

Im Gegensatz zu REINFORCE verwendet PPO jeden Batch der gesammelten Daten für mehrere Optimierungsepochen erneut. Das Clipping macht dies sicher und verbessert die Stichprobeneffizienz erheblich.

In der Praxis implementieren Sie PPO nur selten selbst. Stable-Baselines3 stellt eine erprobte Implementierung bereit. Erzeugen Sie sie mit dem Policy-Typ, der Umgebung und der Ausführlichkeit und rufen Sie anschließend learn auf.

Verwenden Sie nach dem Training predict, um Aktionen für neue Beobachtungen zu erhalten. Setzen Sie für die Evaluierung deterministic=True, damit die wahrscheinlichste Aktion ausgewählt wird, anstatt eine Aktion zu samplen.

PPO kombiniert stabile geclippte Updates, GAE-Advantages und die Wiederverwendung von Daten zu einem robusten, vielseitig einsetzbaren Algorithmus, der mit minimaler Abstimmung bei vielen Aufgaben funktioniert. Deshalb kommt er in so unterschiedlichen Bereichen wie Robotik und RLHF zum Einsatz.

Testen Sie Ihr Verständnis von PPO.

Sie haben das geclippte Surrogat-Ziel von PPO kennengelernt, das mithilfe des Wahrscheinlichkeits-verhältnisses und eines Clip-Schwellenwerts eps Updates begrenzt, außerdem GAE zur Schätzung der Advantage und die Wiederverwendung von Daten über mehrere Epochen. Sie haben PPO mit PPO("MlpPolicy", env, verbose=1) in Stable-Baselines3 problemlos ausgeführt.