Konsep Dasar dalam Pembelajaran Penguatan

Pembelajaran Penguatan (RL) adalah jenis pembelajaran mesin yang memungkinkan seorang agen belajar mengambil keputusan dengan berinteraksi dengan sebuah lingkungan. Tujuannya adalah memaksimalkan imbalan seiring waktu.

Komponen utama RL meliputi agen, lingkungan, imbalan, dan penalti.

Terminologi Utama dalam RL

Istilah penting dalam pembelajaran penguatan:

• Agen: Pengambil keputusan, misalnya robot atau perangkat lunak.
• Lingkungan: Sistem yang berinteraksi dengan agen.
• Keadaan: Situasi lingkungan saat ini.
• Tindakan: Keputusan yang diambil oleh agen.
• Imbalan: Umpan balik dari lingkungan atas suatu tindakan.

Interaksi Agen-Lingkungan

Interaksi agen-lingkungan dapat diringkas sebagai berikut:

1. Agen mengamati keadaan lingkungan saat ini.
2. Agen mengambil tindakan berdasarkan suatu kebijakan.
3. Lingkungan beralih ke keadaan baru dan memberikan imbalan.

Siklus ini berlanjut hingga keadaan akhir tercapai.

Imbalan dan Penalti

Imbalan adalah umpan balik yang diberikan kepada agen atas tindakannya. Tujuannya adalah memaksimalkan imbalan kumulatif seiring waktu. Penalti adalah imbalan negatif yang mencegah tindakan yang tidak diinginkan.

Contohnya:

• Imbalan: +10 karena mencapai tujuan.
• Penalti: -5 karena menabrak rintangan.

Kebijakan dalam RL

Kebijakan adalah strategi yang digunakan agen untuk menentukan tindakan berdasarkan keadaan saat ini.

Jenis kebijakan:

• Deterministik: Selalu memilih tindakan yang sama untuk keadaan tertentu.
• Stokastik: Memilih tindakan berdasarkan probabilitas.

Eksplorasi vs. Eksploitasi

Agen menghadapi kompromi antara:

• Eksplorasi: Mencoba tindakan baru untuk mengetahui lebih banyak tentang lingkungan.
• Eksploitasi: Memilih tindakan yang menghasilkan imbalan tertinggi yang telah diketahui.

Menyeimbangkan keduanya sangat penting untuk pembelajaran yang efektif.

Proses Keputusan Markov (MDP)

Masalah pembelajaran penguatan sering dimodelkan sebagai MDP, yang ditentukan oleh:

• Keadaan (S): Kemungkinan konfigurasi lingkungan.
• Tindakan (A): Pilihan yang tersedia bagi agen.
• Imbalan (R): Umpan balik atas tindakan.
• Probabilitas Perpindahan (P): Kemungkinan berpindah dari satu keadaan ke keadaan lain.

Tantangan dalam Pembelajaran Penguatan

Pembelajaran penguatan memiliki beberapa tantangan:

• Imbalan yang Tertunda: Imbalan mungkin diterima setelah beberapa tindakan.
• Imbalan yang Jarang: Imbalan mungkin terjadi secara tidak sering.
• Dimensi Tinggi: Lingkungan kompleks dengan banyak keadaan dan tindakan.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kami:

• Menjelajahi konsep dasar pembelajaran penguatan, termasuk agen, lingkungan, dan imbalan.
• Membahas kebijakan, eksplorasi vs. eksploitasi, dan MDP.
• Mempelajari tantangan dalam RL.

Selanjutnya, kami akan mempelajari konsep Tabel-Q, yaitu pendekatan dasar dalam pembelajaran penguatan.