Metode Actor-Critic (A2C)

Metode aktor-kritik menggabungkan dua gagasan: seorang actor (kebijakan yang memilih tindakan) dan seorang critic (fungsi nilai yang menilainya). Critic memberikan umpan balik dengan varians yang lebih rendah daripada imbalan kumulatif mentah, sehingga pembelajaran menjadi lebih stabil.

actor adalah jaringan kebijakan. Jaringan ini menghasilkan logit tindakan (atau probabilitas) untuk keadaan saat ini, sama seperti pada REINFORCE, lalu menentukan tindakan yang harus dilakukan.

critic mengestimasi nilai keadaan V(s): imbalan kumulatif yang diharapkan dari keadaan s. Critic memiliki kepala dengan satu keluaran yang memprediksi seberapa baik situasi saat ini.

Actor dan critic biasanya share lapisan awal (tulang punggung), lalu bercabang menjadi dua kepala. Berbagi fitur ini efisien dan memungkinkan kedua tugas saling memperkuat representasi yang berguna.

Besaran utamanya adalah keunggulan A = r + gamma * V(s') - V(s). Besaran ini mengukur seberapa jauh suatu tindakan lebih baik daripada yang diperkirakan critic. Keunggulan positif berarti "lebih baik daripada rata-rata", sedangkan keunggulan negatif berarti lebih buruk.

Menggunakan keunggulan alih-alih imbalan kumulatif penuh G_t memusatkan sinyal di sekitar estimasi critic, sehingga varians berkurang secara drastis. Inilah alasan utama pembelajaran aktor-kritik lebih stabil daripada REINFORCE.

Actor dilatih seperti REINFORCE, tetapi diberi bobot berdasarkan keunggulan, bukan imbalan kumulatif: probabilitas tindakan dengan keunggulan positif ditingkatkan.

Critic belajar memprediksi imbalan kumulatif secara akurat. Fungsi kerugiannya adalah galat kuadrat antara prediksinya V(s) dan target yang diamati r + gamma * V(s').

Latih kedua kepala secara bersamaan dengan menjumlahkan fungsi kerugiannya (sering kali dengan bonus entropi kecil untuk mendorong eksplorasi). Satu lintasan backward memperbarui tulang punggung shared dan kedua kepala.

A2C (Aktor-Kritik Keunggulan) adalah versi sinkron: beberapa pekerja paralel mengumpulkan pengalaman dari salinan lingkungan secara bersamaan, kemudian satu pembaruan tersinkronisasi menggunakan semua data tersebut, sehingga stabilitas dan laju pemrosesan meningkat.

Varian asinkron A3C memungkinkan pekerja memperbarui model secara mandiri. A2C menyinkronkan mereka, sehingga lebih sederhana, lebih sesuai untuk GPU, dan biasanya sama efektifnya. Karena itu, A2C populer.

Uji pemahaman Anda tentang aktor-kritik.

Anda telah mempelajari bahwa actor menghasilkan logit kebijakan dan critic mengestimasi V(s), sering kali melalui tulang punggung shared dengan dua kepala. Keunggulan r + gamma*V(s') - V(s) mengurangi varians, sedangkan A2C sinkron menggunakan pekerja paralel untuk pelatihan yang stabil dan efisien.