डीप Q-Learning

डीप Q-लर्निंग

डीप Q-लर्निंग, Q-लर्निंग का एक विस्तार है, जिसमें Q-तालिका का अनुमान लगाने के लिए न्यूरल नेटवर्क का उपयोग किया जाता है। इससे सुदृढ़ीकरण अधिगम को बड़े या सतत अवस्था-क्रिया स्थान वाले परिवेशों तक विस्तारित किया जा सकता है।

डीप Q-लर्निंग पारंपरिक Q-लर्निंग की सीमाओं को दूर करता है:

• उच्च-आयामी अवस्था स्थानों, जैसे चित्रों, को संभालता है।
• बड़ी Q-तालिकाओं को स्मृति में संग्रहीत करने की आवश्यकता से बचाता है।
• न्यूरल नेटवर्क का उपयोग करके विभिन्न अवस्थाओं में सामान्यीकरण करता है।

डीप Q-लर्निंग, Q-मानों का अनुमान लगाने के लिए Q-नेटवर्क नामक न्यूरल नेटवर्क का उपयोग करता है। मुख्य step ये हैं:

1. Q-नेटवर्क को यादृच्छिक भारों के साथ आरंभ करें।
2. अनुभव-टपल (state, action, reward, next_state) एकत्र करने के लिए परिवेश के साथ अंतःक्रिया करें।
3. बेलमैन समीकरण का उपयोग करके Q-नेटवर्क को अद्यतन करें:

Q(s, a) ≈ r + γ max(Q(s', a'))

Q-नेटवर्क एक सरल फीडफ़ॉरवर्ड न्यूरल नेटवर्क है, जो वर्तमान अवस्था को इनपुट के रूप में लेता है और सभी संभावित क्रियाओं के Q-मान आउटपुट के रूप में देता है:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

अधिगम को बेहतर बनाने के लिए डीप Q-लर्निंग अनुभव पुनरावृत्ति नामक तकनीक का उपयोग करता है:

• अनुभवों (state, action, reward, next_state) को एक स्मृति बफ़र में संग्रहीत करें।
• Q-नेटवर्क को प्रशिक्षित करने के लिए अनुभवों के बैचों का यादृच्छिक रूप से sample करें।

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

हम स्मृति बफ़र में मौजूद अनुभवों का उपयोग करके Q-नेटवर्क को प्रशिक्षित करते हैं:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

प्रशिक्षण को स्थिर करने के लिए DQN एक लक्ष्य नेटवर्क का उपयोग करता है:

• लक्ष्य Q-मानों की गणना करने के लिए एक अलग नेटवर्क बनाए रखें।
• समय-समय पर Q-नेटवर्क के भारों को लक्ष्य नेटवर्क में कॉपी करें।

डीप Q-लर्निंग कई लाभ प्रदान करता है:

• उच्च-आयामी अवस्था स्थानों, जैसे चित्रों, को संभालता है।
• न्यूरल नेटवर्क का उपयोग करके विभिन्न अवस्थाओं में सामान्यीकरण करता है।
• अटारी खेलों और रोबोटिक नियंत्रण जैसे जटिल कार्यों को हल कर सकता है।

इस पाठ में हमने:

• डीप Q-लर्निंग की मूल बातें समझीं।
• Q-मानों का अनुमान लगाने के लिए एक Q-नेटवर्क बनाया।
• स्थिर प्रशिक्षण के लिए अनुभव पुनरावृत्ति और लक्ष्य नेटवर्क पर चर्चा की।

अगले चरण में, हम OpenAI जिम का अध्ययन करेंगे और अनुकरण किए गए परिवेशों में सुदृढ़ीकरण अधिगम लागू करेंगे।