Metody aktor–krytyk (A2C)

Metody Actor-Critic łączą dwa pomysły: aktora (politykę wybierającą akcje) i krytyka (funkcję wartości oceniającą te akcje). Krytyk dostarcza informacji zwrotnej o mniejszej wariancji niż surowe zwroty, stabilizując uczenie.

Aktor jest siecią polityki. Dla bieżącego stanu generuje logity akcji (lub prawdopodobieństwa), dokładnie tak jak w REINFORCE, i decyduje, co należy zrobić.

Krytyk szacuje wartość stanu V(s): oczekiwany zwrot ze stanu s. Jest to głowica z jednym wyjściem, która przewiduje, jak dobra jest bieżąca sytuacja.

Aktor i krytyk zwykle współdzielą wczesne warstwy (backbone), a następnie rozdzielają się na dwie głowice. Współdzielenie cech jest wydajne i pozwala obu zadaniom wzmacniać użyteczne reprezentacje.

Kluczową wielkością jest przewaga A = r + gamma * V(s') - V(s). Mierzy ona, o ile akcja była lepsza od oczekiwań krytyka. Dodatnia przewaga oznacza wynik „lepszy od średniej”, a ujemna — gorszy.

Użycie przewagi zamiast pełnego zwrotu G_t centruje sygnał wokół oszacowania krytyka, znacznie zmniejszając wariancję. To główny powód, dla którego actor-critic uczy się stabilniej niż REINFORCE.

Aktor jest uczony podobnie jak w REINFORCE, ale zamiast zwrotu wykorzystuje przewagę jako wagę: zwiększa prawdopodobieństwo akcji o dodatniej przewadze.

Krytyk uczy się dokładnie przewidywać zwroty. Jego funkcja straty to kwadrat błędu między jego predykcją V(s) a zaobserwowanym celem r + gamma * V(s').

Obie głowice są uczone jednocześnie przez zsumowanie funkcji strat (często z niewielką premią entropii zachęcającą do eksploracji). Jedno przejście wsteczne aktualizuje współdzielony backbone oraz obie głowice.

A2C (Advantage Actor-Critic) to wersja synchroniczna: wiele równoległych procesów roboczych jednocześnie zbiera doświadczenia z kopii środowiska, a następnie pojedyncza zsynchronizowana aktualizacja wykorzystuje wszystkie zebrane dane, poprawiając stabilność i przepustowość.

Wariant asynchroniczny A3C pozwala procesom roboczym aktualizować model niezależnie. A2C synchronizuje te aktualizacje, dzięki czemu jest prostsze, lepiej dostosowane do GPU i zwykle równie skuteczne, co wyjaśnia jego popularność.

Sprawdź swoją wiedzę na temat metod actor-critic.

Nauczyli się Państwo, że aktor generuje logity polityki, a krytyk szacuje V(s), często za pomocą wspólnego backbone'u z dwiema głowicami. Przewaga r + gamma*V(s') - V(s) zmniejsza wariancję, a synchroniczne A2C wykorzystuje równoległe procesy robocze do stabilnego i wydajnego uczenia.