बहु-चरणीय और एजेंट-आधारित RAG प्रतिरूप

उन्नत RAG में आपका स्वागत है! अब तक हमने मूल Retrieval Augmented Generation (RAG) का अध्ययन किया है, जिसमें LLM प्राप्त किए गए दस्तावेज़ों के एक समूह का उपयोग करके किसी क्वेरी का उत्तर देता है।

हालाँकि, वास्तविक दुनिया के प्रश्न जटिल हो सकते हैं। उनमें कई भाग हो सकते हैं, तर्क की आवश्यकता हो सकती है या अलग-अलग प्रणालियों के साथ अंतःक्रिया करनी पड़ सकती है।

सरल RAG इन चुनौतियों से जूझता है। इसी कारण हमें बहु-चरणीय RAG और एजेंटिक RAG जैसे अधिक उन्नत तरीकों की आवश्यकता होती है।

बहु-चरणीय RAG एक उन्नत पैटर्न है, जिसे जटिल क्वेरी को छोटे, प्रबंधनीय भागों में बाँटकर सँभालने के लिए बनाया गया है। एक बड़ी खोज करने के बजाय, यह कई लक्षित खोजें करता है।

इसे किसी जासूस द्वारा मामला सुलझाने जैसा समझिए: वह केवल एक सुराग नहीं ढूँढ़ता; बल्कि सुरागों का पीछा करता है, अधिक जानकारी जुटाता है और चरण-दर-चरण सबको जोड़ता है।

बहु-चरणीय RAG का पहला चरण अक्सर क्वेरी विघटन होता है। इसमें LLM आपके मूल जटिल प्रश्न का विश्लेषण करके उसे कई सरल उप-क्वेरी या विशिष्ट खोज शब्दों में पुनर्गठित करता है।

इससे प्रणाली आपके पूरे प्रश्न के प्रत्येक अलग भाग से अत्यधिक प्रासंगिक दस्तावेज़ प्राप्त कर पाती है और सटीकता बेहतर होती है।

मूल क्वेरी के विघटित हो जाने के बाद, RAG प्रणाली पुनरावृत्त खोज करती है। इसका अर्थ है:

• प्रत्येक उप-क्वेरी खोजक को भेजी जाती है।
• प्रत्येक उप-क्वेरी के लिए प्रासंगिक दस्तावेज़ प्राप्त किए जाते हैं।
• एक खोज चरण के परिणाम आगे की उप-क्वेरी को सूचित या परिष्कृत भी कर सकते हैं।

अंत में, प्राप्त की गई सारी जानकारी को मिलाकर व्यापक उत्तर के लिए LLM को भेजा जाता है।

मान लीजिए आप पूछते हैं: "जलवायु परिवर्तन के मुख्य कारण क्या हैं, और उससे निपटने के लिए हाल में कौन-से तकनीकी समाधान विकसित किए जा रहे हैं?"

बहु-चरणीय RAG प्रणाली संभवतः यह करेगी:

1. विघटन: "जलवायु परिवर्तन के मुख्य कारण" और "जलवायु परिवर्तन के लिए हाल के तकनीकी समाधान"।
2. खोज 1: कारणों से संबंधित दस्तावेज़ ढूँढ़ना।
3. खोज 2: समाधानों से संबंधित दस्तावेज़ ढूँढ़ना।
4. संश्लेषण: दोनों भागों का पूरा उत्तर देने के लिए जानकारी को मिलाना।

जहाँ बहु-चरणीय RAG खोज को बेहतर बनाता है, वहीं एजेंटिक RAG इसे एक कदम आगे ले जाता है। LLM एजेंट वह प्रणाली है जिसमें LLM विभिन्न उपकरणों का उपयोग करके तर्क करता है, योजना बनाता है और कार्य करता है।

एजेंट केवल खोज करने के बजाय, उपयोगकर्ता की क्वेरी और उपलब्ध उपकरणों के आधार पर यह तय कर सकता है कि अगला कार्य क्या होना चाहिए। RAG उसके शक्तिशाली उपकरणों में से एक बन जाता है!

एजेंटिक प्रणाली का केंद्र ऐसा LLM है जो यह कर सकता है:

• समझना: उपयोगकर्ता के लक्ष्य की व्याख्या करना।
• योजना बनाना: लक्ष्य को चरणों में बाँटना।
• कार्य करना: प्रत्येक चरण के लिए उपयुक्त उपकरण चुनना और उनका उपयोग करना।
• निरीक्षण करना: उपकरणों के आउटपुट का मूल्यांकन करना और अगले चरण तय करना।

उपकरणों में वेब खोज, कैलकुलेटर, बाहरी API और, विशेष रूप से, आपके ज्ञान-आधार के लिए RAG खोजक शामिल हो सकते हैं।

एजेंटिक RAG प्रणाली में RAG घटक पूरी पाइपलाइन नहीं होता; यह एक विशेष उपकरण होता है, जिसे एजेंट बुला सकता है। RAG का उपयोग कब करना है, यह एजेंट तय करता है।

उदाहरण के लिए, यदि कोई उपयोगकर्ता ऐसा प्रश्न पूछता है जिसके लिए आपके विशिष्ट दस्तावेज़ संग्रह से तथ्यात्मक जानकारी चाहिए, तो एजेंट अपने RAG उपकरण का उपयोग करके वह संदर्भ प्राप्त करने का 'निर्णय' लेगा।

इस क्वेरी पर विचार कीजिए: "पिछले वर्ष हमारी कंपनी का तीसरी तिमाही का राजस्व कितना था, और उस अवधि के उद्योग के औसत राजस्व की तुलना में यह कैसा है?"

LLM एजेंट संभवतः यह करेगा:

1. RAG उपकरण का उपयोग: आंतरिक तीसरी तिमाही की राजस्व रिपोर्ट प्राप्त करना।
2. वेब खोज उपकरण का उपयोग: उद्योग का तीसरी तिमाही का औसत राजस्व ढूँढ़ना।
3. कैलकुलेटर उपकरण का उपयोग: दोनों आँकड़ों की तुलना करना।
4. संश्लेषण: व्यापक उत्तर देना।

आपको बहु-चरणीय RAG और एजेंटिक RAG में से किसका उपयोग करना चाहिए?

• बहु-चरणीय RAG: उन क्वेरी के लिए सर्वोत्तम जिन्हें स्पष्ट रूप से अलग-अलग उप-प्रश्नों में बाँटा जा सकता है और जहाँ मुख्य चुनौती व्यापक जानकारी प्राप्त करना है।
• एजेंटिक RAG: अत्यधिक गतिशील, बहु-चरणीय समस्याओं के लिए आदर्श, जिनमें केवल खोज से आगे विभिन्न प्रकार के तर्क, बाहरी अंतःक्रियाएँ और उपकरणों के उपयोग की आवश्यकता हो सकती है।

दोनों RAG को बेहतर बनाते हैं, लेकिन अलग-अलग प्रकार की जटिलताओं के लिए।

बहुत अच्छा! इस पाठ में हमने जटिल परिस्थितियों को सँभालने वाले उन्नत RAG पैटर्न का अध्ययन किया:

• बहु-चरणीय RAG: जटिल क्वेरी को उप-क्वेरी में बाँटता है और व्यापक संदर्भ जुटाने के लिए पुनरावृत्त खोज करता है।
• एजेंटिक RAG: LLM को एक बुद्धिमान एजेंट के रूप में उपयोग करता है, जो किसी लक्ष्य को प्राप्त करने के लिए तर्क कर सकता है, योजना बना सकता है और विभिन्न उपकरणों (RAG सहित) का उपयोग कर सकता है।

सरल प्रश्न-उत्तर से आगे बढ़ने वाले मजबूत और बुद्धिमान LLM अनुप्रयोग बनाने के लिए ये तकनीकें अत्यंत महत्वपूर्ण हैं।