डीप Q-अधिगम

गहन Q-लर्निंग, Q-मानों का अनुमान लगाने के लिए Q-नेटवर्क नामक तंत्रिका नेटवर्क का उपयोग करती है। इसके मुख्य step ये हैं:

1. यादृच्छिक भारों के साथ Q-नेटवर्क को प्रारंभ करें।
2. अनुभव टपल (state, action, reward, next_state) एकत्र करने के लिए पर्यावरण के साथ अंतःक्रिया करें।
3. बेलमैन समीकरण का उपयोग करके Q-नेटवर्क को अद्यतन करें:

Q(s, a) ≈ r + γ max(Q(s', a'))

Q-नेटवर्क एक सरल फीडफ़ॉरवर्ड तंत्रिका नेटवर्क है, जो वर्तमान स्थिति को आगत के रूप में लेता है और सभी संभावित क्रियाओं के Q-मान निर्गत करता है:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

सीखने में सुधार के लिए गहन Q-लर्निंग अनुभव पुनःप्रयोग नामक तकनीक का उपयोग करती है:

• अनुभवों (state, action, reward, next_state) को स्मृति बफ़र में संग्रहीत करें।
• Q-नेटवर्क को प्रशिक्षित करने के लिए अनुभवों के बैचों को यादृच्छिक रूप से sample करें।

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

हम स्मृति बफ़र में मौजूद अनुभवों का उपयोग करके Q-नेटवर्क को प्रशिक्षित करते हैं:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

प्रशिक्षण को स्थिर करने के लिए DQN एक लक्ष्य नेटवर्क का उपयोग करता है:

• लक्षित Q-मानों की गणना के लिए एक अलग नेटवर्क बनाए रखें।
• समय-समय पर Q-नेटवर्क से लक्ष्य नेटवर्क में भारों की प्रतिलिपि बनाएँ।

गहन Q-लर्निंग के कई लाभ हैं:

• यह चित्रों जैसे उच्च-आयामी स्थिति स्थानों को संभालती है।
• यह तंत्रिका नेटवर्क का उपयोग करके विभिन्न स्थितियों में सामान्यीकरण करती है।
• यह Atari खेलों और रोबोटिक नियंत्रण जैसे जटिल कार्यों को हल कर सकती है।

इस पाठ में हमने:

• गहन Q-लर्निंग की मूलभूत बातों का अध्ययन किया।
• Q-मानों का अनुमान लगाने के लिए Q-नेटवर्क बनाया।
• स्थिर प्रशिक्षण के लिए अनुभव पुनःप्रयोग और लक्ष्य नेटवर्क पर चर्चा की।

इसके बाद हम OpenAI जिम का अध्ययन करेंगे और अनुकरण किए गए पर्यावरणों में सुदृढीकरण अधिगम लागू करेंगे।