Konsep Dasar Pembelajaran Penguatan

Pembelajaran Penguatan (RL) adalah jenis pembelajaran mesin yang memungkinkan agen belajar mengambil keputusan dengan berinteraksi dengan lingkungan. Tujuannya adalah memaksimalkan imbalan dari waktu ke waktu.

Komponen utama RL meliputi agen, lingkungan, imbalan, dan penalti.

Istilah Kunci dalam RL

Istilah penting dalam pembelajaran penguatan:

• Agen: Pengambil keputusan (misalnya, robot atau perangkat lunak).
• Lingkungan: Sistem yang berinteraksi dengan agen.
• Keadaan: Situasi lingkungan saat ini.
• Tindakan: Keputusan yang diambil oleh agen.
• Imbalan: Umpan balik dari lingkungan atas suatu tindakan.

Interaksi Agen dan Lingkungan

Interaksi antara agen dan lingkungan dapat diringkas sebagai berikut:

1. Agen mengamati keadaan lingkungan saat ini.
2. Agen melakukan tindakan berdasarkan suatu kebijakan.
3. Lingkungan berpindah ke keadaan baru dan memberikan imbalan.

Perulangan ini berlanjut hingga keadaan terminal tercapai.

Imbalan dan Penalti

Imbalan adalah umpan balik yang diberikan kepada agen atas tindakannya. Tujuannya adalah memaksimalkan imbalan kumulatif dari waktu ke waktu. Penalti adalah imbalan negatif yang mencegah tindakan yang tidak diinginkan.

Misalnya:

• Imbalan: +10 karena mencapai tujuan.
• Penalti: -5 karena menabrak rintangan.

Kebijakan dalam RL

Kebijakan adalah strategi yang digunakan agen untuk menentukan tindakan berdasarkan keadaan saat ini.

Jenis kebijakan:

• Deterministik: Selalu memilih tindakan yang sama untuk keadaan tertentu.
• Stokastik: Memilih tindakan berdasarkan probabilitas.

Eksplorasi vs. Eksploitasi

Agen menghadapi pertukaran antara:

• Eksplorasi: Mencoba tindakan baru untuk mengetahui lebih banyak tentang lingkungan.
• Eksploitasi: Memilih tindakan yang menghasilkan imbalan tertinggi yang telah diketahui.

Menyeimbangkan keduanya sangat penting untuk pembelajaran yang efektif.

Proses Keputusan Markov (MDP)

Masalah pembelajaran penguatan sering dimodelkan sebagai MDP, yang didefinisikan oleh:

• Keadaan (S): Konfigurasi lingkungan yang mungkin.
• Tindakan (A): Pilihan yang tersedia bagi agen.
• Imbalan (R): Umpan balik atas tindakan.
• Probabilitas Transisi (P): Kemungkinan berpindah di antara keadaan.

Tantangan dalam Pembelajaran Penguatan

Pembelajaran penguatan memiliki beberapa tantangan:

• Imbalan Tertunda: Imbalan mungkin diterima setelah beberapa tindakan.
• Imbalan Jarang: Imbalan mungkin muncul secara tidak sering.
• Dimensi Tinggi: Lingkungan kompleks dengan banyak keadaan dan tindakan.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kita:

• Mempelajari konsep dasar pembelajaran penguatan, termasuk agen, lingkungan, dan imbalan.
• Membahas kebijakan, eksplorasi vs. eksploitasi, dan MDP.
• Mempelajari tantangan dalam RL.

Selanjutnya, kita akan mempelajari konsep Tabel-Q, yaitu pendekatan dasar untuk pembelajaran penguatan.