Проксимальная оптимизация политики (PPO)

PPO — сегодня стандартный алгоритм RL: стабильный, эффективно использующий данные и простой в настройке. Он устраняет основную проблему градиентных методов политики — слишком большие обновления, разрушающие политику, — ограничивая степень изменения политики при каждом обновлении.

Одно чрезмерно большое обновление политики может привести к падению производительности, а поскольку RL работает только с данными текущей политики, восстановление затруднено. PPO сохраняет каждое обновление близким к текущей политике, чтобы избежать проблем.

PPO отслеживает отношение новых вероятностей действий к старым: ratio = pi_new(a|s) / pi_old(a|s). Отношение, близкое к 1, означает, что политика почти не изменилась; далёкое от 1 — что произошло значительное изменение.

Отличительная особенность PPO — ограниченная суррогатная целевая функция. Она умножает отношение на преимущество, но ограничивает отношение значениями из диапазона [1-eps, 1+eps], устраняя стимул изменять политику слишком сильно.

eps, обычно равный 0.2, — это порог отсечения. Он ограничивает отклонение отношения от 1, поэтому даже при большом преимуществе обновление политики остаётся ограниченным и стабильным.

Взятие min ограниченной и неограниченной целевых функций делает ограничение пессимистичным: улучшения за пределами диапазона отсечения не дают дополнительного вознаграждения, поэтому у оптимизатора нет причин выходить за границы.

PPO оценивает преимущества с помощью GAE, объединяющего возвраты за несколько шагов с использованием параметров gamma и lambda. GAE позволяет найти компромисс между смещением и дисперсией и получить плавные, надёжные оценки преимущества.

В отличие от REINFORCE, PPO повторно использует каждый пакет собранных данных в течение нескольких эпох оптимизации. Отсечение делает это безопасным и значительно повышает эффективность использования данных.

На практике Вам редко приходится писать PPO вручную. Stable-Baselines3 предоставляет проверенную реализацию. Создайте её, указав тип политики, среду и уровень подробности вывода, затем вызовите learn.

После обучения используйте predict, чтобы получать действия для новых наблюдений. Для оценки установите deterministic=True, чтобы выбирать наиболее вероятное действие, а не выполнять случайную выборку.

PPO объединяет стабильные ограниченные обновления, преимущества GAE и повторное использование данных в надёжный универсальный алгоритм, который работает во множестве задач при минимальной настройке. Поэтому он применяется во всём — от робототехники до RLHF.

Проверьте, насколько хорошо Вы понимаете PPO.

Вы изучили ограниченную суррогатную целевую функцию PPO, использующую отношение вероятностей и порог отсечения eps для ограничения обновлений, GAE для оценки преимущества и повторное использование данных в течение нескольких эпох. Вы легко запустили PPO с помощью PPO("MlpPolicy", env, verbose=1) в Stable-Baselines3.