Konsep Asas Pembelajaran Pengukuhan

Konsep Asas Pembelajaran Pengukuhan

Pembelajaran Pengukuhan (RL) ialah sejenis pembelajaran mesin yang membolehkan ejen belajar membuat keputusan dengan berinteraksi dengan persekitaran. Matlamatnya adalah untuk memaksimumkan ganjaran dari semasa ke semasa.

Komponen utama RL termasuk ejen, persekitaran, ganjaran dan denda.

Istilah penting dalam pembelajaran pengukuhan:

• Ejen: Pembuat keputusan, contohnya robot atau perisian.
• Persekitaran: Sistem yang berinteraksi dengan ejen.
• Keadaan: Situasi semasa persekitaran.
• Tindakan: Keputusan yang diambil oleh ejen.
• Ganjaran: Maklum balas daripada persekitaran untuk sesuatu tindakan.

Interaksi ejen-persekitaran boleh diringkaskan seperti berikut:

1. Ejen memerhatikan keadaan semasa persekitaran.
2. Ejen mengambil tindakan berdasarkan suatu dasar.
3. Persekitaran beralih kepada keadaan baharu dan memberikan ganjaran.

Gelung ini berterusan sehingga keadaan penamat dicapai.

Ganjaran ialah maklum balas yang diberikan kepada ejen untuk tindakannya. Matlamatnya adalah untuk memaksimumkan ganjaran terkumpul dari semasa ke semasa. Denda ialah ganjaran negatif yang tidak menggalakkan tindakan yang tidak diingini.

Contohnya:

• Ganjaran: +10 kerana mencapai matlamat.
• Denda: -5 kerana melanggar halangan.

Dasar ialah strategi yang digunakan oleh ejen untuk menentukan tindakan berdasarkan keadaan semasa.

Jenis dasar:

• Deterministik: Sentiasa memilih tindakan yang sama untuk keadaan tertentu.
• Stokastik: Memilih tindakan berdasarkan kebarangkalian.

Ejen perlu mengimbangi:

• Penerokaan: Mencuba tindakan baharu untuk mengetahui lebih banyak tentang persekitaran.
• Eksploitasi: Memilih tindakan yang menghasilkan ganjaran tertinggi yang diketahui.

Mengimbangi kedua-duanya amat penting untuk pembelajaran yang berkesan.

Masalah pembelajaran pengukuhan sering dimodelkan sebagai MDP, yang ditakrifkan oleh:

• Keadaan (S): Konfigurasi persekitaran yang mungkin.
• Tindakan (A): Pilihan yang tersedia untuk ejen.
• Ganjaran (R): Maklum balas untuk tindakan.
• Kebarangkalian Peralihan (P): Kemungkinan beralih antara keadaan.

Pembelajaran pengukuhan mempunyai beberapa cabaran:

• Ganjaran Tertunda: Ganjaran mungkin diterima selepas beberapa tindakan.
• Ganjaran Jarang: Ganjaran mungkin berlaku secara tidak kerap.
• Dimensi Tinggi: Persekitaran kompleks dengan banyak keadaan dan tindakan.

Dalam pelajaran ini, kita:

• Meneroka konsep asas pembelajaran pengukuhan, termasuk ejen, persekitaran dan ganjaran.
• Membincangkan dasar, penerokaan berbanding eksploitasi dan MDP.
• Mempelajari tentang cabaran dalam RL.

Seterusnya, kita akan mendalami konsep Jadual-Q, iaitu pendekatan asas untuk pembelajaran pengukuhan.