Q-Table की अवधारणा

Q-तालिका की अवधारणा

Q-तालिका सुदृढीकरण अधिगम की एक मूल अवधारणा है। यह एक मान खोज तालिका होती है, जिसमें प्रत्येक प्रविष्टि किसी दी गई स्थिति में कोई विशिष्ट क्रिया करने पर मिलने वाले अपेक्षित पुरस्कार को दर्शाती है।

लक्ष्य Q-मान सीखना है, जो अभिकर्ता को अधिकतम पुरस्कार प्राप्त करने के लिए सर्वोत्तम क्रियाएँ करने का मार्गदर्शन देते हैं।

Q-तालिका की संरचना इस प्रकार होती है:

• पंक्तियाँ: पर्यावरण की स्थितियों को दर्शाती हैं।
• स्तंभ: अभिकर्ता के लिए उपलब्ध क्रियाओं को दर्शाते हैं।
• मान: स्थिति-क्रिया युग्मों के Q-मान को दर्शाते हैं।

अभिकर्ता अधिगम के दौरान इन मानों को अद्यतन करता है।

Q-मान को बेलमैन समीकरण का उपयोग करके अद्यतन किया जाता है:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

जहाँ:

• s: वर्तमान स्थिति
• a: वर्तमान क्रिया
• r: क्रिया के लिए पुरस्कार
• s': अगली स्थिति
• α: अधिगम दर
• γ: छूट कारक

ग्रिड संसार के लिए Q-तालिका पर विचार करें:

स्थितियाँ: ग्रिड की स्थितियाँ (जैसे, A1, B1)

क्रियाएँ: ऊपर, नीचे, बाएँ, दाएँ जाएँ

प्रारंभ में, सभी Q-मान शून्य पर सेट होते हैं:

स्थिति	ऊपर	नीचे	बाएँ	दाएँ
A1	0	0	0	0
B1	0	0	0	0

हम NumPy सारणी या शब्दकोश का उपयोग करके Q-तालिका को निरूपित कर सकते हैं:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

अभिकर्ता अन्वेषण और दोहन के बीच संतुलन बनाने के लिए ε-लोभी नीति का उपयोग करता है:

• ε प्रायिकता के साथ कोई यादृच्छिक क्रिया चुनें (अन्वेषण)।
• 1-ε प्रायिकता के साथ सबसे अधिक Q-मान वाली क्रिया चुनें (दोहन)।

छोटे पर्यावरणों के लिए Q-तालिकाएँ सरल और प्रभावी होती हैं। इनके लाभों में शामिल हैं:

• आसान कार्यान्वयन और त्रुटि-निवारण।
• स्थिति-क्रिया संबंधों की स्पष्ट व्याख्या।
• छोटे स्थिति-क्रिया क्षेत्रों के लिए कम संगणकीय लागत।

Q-तालिकाओं की कुछ सीमाएँ हैं:

• बड़े अवस्था-क्रिया स्थान वाले परिवेशों के लिए इन्हें विस्तारित नहीं किया जा सकता।
• उच्च-आयामी समस्याओं के लिए काफ़ी स्मृति की आवश्यकता होती है।
• समान अवस्थाओं के बीच सामान्यीकरण करने में असमर्थता।

इस पाठ में हमने:

• Q-तालिका की अवधारणा और इसकी संरचना के बारे में सीखा।
• बेलमैन समीकरण का उपयोग करके Q-मानों को अद्यतन करने की प्रक्रिया समझी।
• Q-तालिकाओं के लाभों और सीमाओं पर चर्चा की।

अगले चरण में, हम पाइथन में एक सरल Q-लर्निंग एल्गोरिदम लागू करेंगे, ताकि Q-तालिकाओं को काम करते हुए देख सकें।