Aktör-Eleştirmen Yöntemleri (A2C)

Actor-Critic yöntemleri iki fikri birleştirir: eylemleri seçen bir politika olan actor ve bu eylemleri değerlendiren bir değer fonksiyonu olan critic. Critic, ham getirilerden daha düşük varyanslı geri bildirim sağlayarak öğrenmeyi dengeler.

actor, politika ağıdır. REINFORCE'ta olduğu gibi geçerli durum için eylem logitleri (veya olasılıkları) üretir ve ne yapılacağına karar verir.

critic, durum değerini V(s) tahmin eder: s durumundan elde edilmesi beklenen getiri. Tek çıkışlı bir başlıktır ve mevcut durumun ne kadar iyi olduğunu tahmin eder.

Actor ve critic genellikle ilk katmanları (omurgayı) paylaşır ve iki başlığa ayrılır. Özellikleri paylaşmak verimlidir ve her iki görevin de yararlı temsilleri güçlendirmesini sağlar.

Temel nicelik avantajdır: A = r + gamma * V(s') - V(s). Bir eylemin critic'in beklediğinden ne kadar daha iyi olduğunu ölçer. Pozitif avantaj, “ortalama­dan daha iyi”; negatif avantaj ise daha kötü anlamına gelir.

Tam getiri G_t yerine avantajı kullanmak, sinyali critic'in tahmini etrafında merkezler ve varyansı büyük ölçüde azaltır. Actor-critic'in REINFORCE'tan daha dengeli öğrenmesinin temel nedeni budur.

Actor, REINFORCE gibi eğitilir; ancak getiri yerine avantajla ağırlıklandırılır: pozitif avantajlı eylemlerin olasılığı artırılır.

Critic, getirileri doğru tahmin etmeyi öğrenir. Kaybı, tahmini V(s) ile gözlemlenen r + gamma * V(s') hedefi arasındaki karesel hatadır.

Kayıpları toplayarak her iki başlığı birlikte eğitin (keşfi teşvik etmek için genellikle küçük bir entropi bonusu eklenir). Tek bir geri yayılım geçişi, paylaşılan omurgayı ve her iki başlığı günceller.

A2C (Avantaj Actor-Critic), eşzamanlı sürümdür: birden çok paralel çalışan, ortamın kopyalarından aynı anda deneyim toplar; ardından tek bir eşzamanlı güncelleme tüm verilerini kullanarak kararlılığı ve işlem hacmini artırır.

Eşzamansız sürüm olan A3C, çalışanların birbirinden bağımsız olarak güncelleme yapmasına izin verir. A2C çalışanları eşzamanlar; bu yaklaşım daha basittir, GPU kullanımına daha uygundur ve genellikle aynı derecede etkilidir. Bu nedenle popülerdir.

Actor-critic anlayışınızı sınayın.

actor'ın politika logitlerini ürettiğini ve critic'in çoğu zaman shared iki başlıklı bir omurga aracılığıyla V(s) değerini tahmin ettiğini öğrendiniz. Avantaj r + gamma*V(s') - V(s) varyansı azaltır; eşzamanlı A2C ise kararlı ve verimli eğitim için paralel çalışanları kullanır.