Pembelajaran Q Mendalam

Pembelajaran-Q Mendalam

Pembelajaran-Q Mendalam ialah pengembangan Pembelajaran-Q yang menggunakan rangkaian neural untuk menghampiri Jadual-Q. Hal ini membolehkan pembelajaran pengukuhan diskalakan kepada persekitaran dengan ruang keadaan-tindakan yang besar atau berterusan.

Pembelajaran-Q Mendalam menangani batasan Pembelajaran-Q tradisional:

• Mengendalikan ruang keadaan berdimensi tinggi, seperti imej.
• Mengelakkan keperluan untuk menyimpan Jadual-Q yang besar dalam memori.
• Membuat generalisasi merentas keadaan menggunakan rangkaian neural.

Pembelajaran-Q Mendalam menggunakan rangkaian neural yang dipanggil Rangkaian-Q untuk menghampiri nilai-Q. Langkah utamanya ialah:

1. Mulakan Rangkaian-Q dengan pemberat rawak.
2. Berinteraksi dengan persekitaran untuk mengumpulkan tupel pengalaman (state, action, reward, next_state).
3. Kemas kini Rangkaian-Q menggunakan persamaan Bellman:

Q(s, a) ≈ r + γ max(Q(s', a'))

Rangkaian-Q ialah rangkaian neural suapan hadapan yang ringkas. Rangkaian ini menerima keadaan semasa sebagai masukan dan menghasilkan nilai-Q untuk semua tindakan yang mungkin:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

Pembelajaran-Q Mendalam menggunakan teknik yang dipanggil ulangan pengalaman untuk meningkatkan pembelajaran:

• Simpan pengalaman (state, action, reward, next_state) dalam penimbal memori.
• Ambil sample kelompok pengalaman secara rawak untuk melatih Rangkaian-Q.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Kita melatih Rangkaian-Q menggunakan pengalaman daripada penimbal memori:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

Untuk menstabilkan latihan, DQN menggunakan rangkaian sasaran:

• Mengekalkan rangkaian berasingan untuk mengira nilai-Q sasaran.
• Menyalin pemberat daripada Rangkaian-Q ke rangkaian sasaran secara berkala.

Pembelajaran-Q Mendalam menawarkan beberapa manfaat:

• Mengendalikan ruang keadaan berdimensi tinggi, seperti imej.
• Membuat generalisasi merentas keadaan menggunakan rangkaian neural.
• Boleh menyelesaikan tugas kompleks seperti permainan Atari dan kawalan robotik.

Dalam pelajaran ini, kita telah:

• Meneroka asas Pembelajaran-Q Mendalam.
• Membina Rangkaian-Q untuk menghampiri nilai-Q.
• Membincangkan ulangan pengalaman dan rangkaian sasaran untuk latihan yang stabil.

Seterusnya, kita akan meneroka OpenAI Gym dan menggunakan pembelajaran pengukuhan dalam persekitaran simulasi.