Proximal Policy Optimization (PPO)

PPO jest obecnie domyślnym algorytmem RL: stabilnym, efektywnym pod względem liczby próbek i łatwym do dostrojenia. Rozwiązuje podstawowy problem gradientów polityki — zbyt duże aktualizacje niszczące politykę — przez ograniczenie zakresu zmian polityki podczas każdej aktualizacji.

Pojedyncza zbyt duża aktualizacja polityki może załamać jej skuteczność, a ponieważ RL działa w trybie on-policy, odzyskanie poprzedniej jakości jest trudne. PPO utrzymuje każdą aktualizację blisko bieżącej polityki, aby zachować bezpieczeństwo.

PPO śledzi iloraz nowych i starych prawdopodobieństw akcji: ratio = pi_new(a|s) / pi_old(a|s). Iloraz bliski 1 oznacza, że polityka zmieniła się nieznacznie, a iloraz znacznie różniący się od 1 oznacza dużą zmianę.

Charakterystycznym elementem PPO jest obcięta zastępcza funkcja celu. Mnoży ona iloraz przez przewagę, ale obcina iloraz do wartości [1-eps, 1+eps], usuwając zachętę do zbyt dużej zmiany polityki.

eps (zwykle 0.2) to próg obcinania. Ogranicza on odchylenie ilorazu od 1, dzięki czemu nawet przy dużej przewadze aktualizacja polityki pozostaje ograniczona i stabilna.

Wzięcie wartości min z obciętej i nieobciętej funkcji celu sprawia, że ograniczenie jest pesymistyczne: poprawa wykraczająca poza zakres obcinania nie daje dodatkowej korzyści, więc optymalizator nie ma powodu przekraczać bezpiecznego zakresu.

PPO szacuje przewagi za pomocą GAE, które łączy zwroty wielokrokowe z użyciem parametrów gamma i lambda. GAE równoważy obciążenie i wariancję, zapewniając gładkie i wiarygodne oszacowania przewagi.

W przeciwieństwie do REINFORCE PPO ponownie wykorzystuje każdą partię zebranych danych przez kilka epok optymalizacji. Obcinanie sprawia, że jest to bezpieczne, znacznie poprawiając efektywność próbkowania.

W praktyce rzadko koduje się PPO ręcznie. Stable-Baselines3 udostępnia przetestowaną implementację. Należy utworzyć ją, podając typ polityki, środowisko i poziom szczegółowości komunikatów, a następnie wywołać learn.

Po zakończeniu uczenia należy użyć predict, aby uzyskać akcje dla nowych obserwacji. Podczas ewaluacji ustawienie deterministic=True powoduje wybór najbardziej prawdopodobnej akcji zamiast losowania.

PPO łączy stabilne aktualizacje z obcinaniem, przewagi GAE i ponowne wykorzystanie danych w odporny, uniwersalny algorytm, który działa w wielu zadaniach przy minimalnym dostrajaniu. Dlatego jest wykorzystywane zarówno w robotyce, jak i w RLHF.

Sprawdź swoją wiedzę na temat PPO.

Nauczyli się Państwo, że obcięta zastępcza funkcja celu PPO wykorzystuje iloraz prawdopodobieństw i próg obcinania eps do ograniczania aktualizacji, GAE do szacowania przewagi oraz ponowne wykorzystanie danych w wielu epokach. Uruchomili Państwo PPO za pomocą PPO("MlpPolicy", env, verbose=1) w Stable-Baselines3.