मूल RAG प्रणाली की वास्तुकला का अवलोकन

अब आइए, RAG प्रणाली के निर्माण-खंडों को देखें। इसकी संरचना जानने से आपको ठीक-ठीक समझ आएगा कि RAG LLM को अधिक सटीक और विश्वसनीय कैसे बनाता है।

RAG तीन घटकों के माध्यम से पुनर्प्राप्ति (जानकारी ढूँढना) और निर्माण (पाठ तैयार करना) को जोड़ता है: डेटा स्रोत, पुनर्प्राप्तकर्ता और जनित्र।

डेटा स्रोत वह बाहरी ज्ञान रखते हैं जिस पर आपके LLM को प्रशिक्षित नहीं किया गया — पीडीएफ़, वेब पृष्ठ, आंतरिक विकि, डेटाबेस रिकॉर्ड और बहुत कुछ।

सबसे पहले आपका डेटा संसाधित किया जाता है: बड़े दस्तावेज़ों को छोटे, खोजे जा सकने वाले हिस्सों में बाँटा जाता है जिन्हें खंड कहा जाता है। यह पूरी पुस्तक के बजाय अध्याय के अनुसार पुस्तकालय का अनुक्रमण करने जैसा है।

पुनर्प्राप्तकर्ता आपके खंडों के लिए एक बुद्धिमान खोज इंजन है। यह केवल कीवर्ड नहीं, बल्कि प्रश्न का अर्थ समझकर सबसे संबंधित संदर्भ प्राप्त करता है।

जब उपयोगकर्ता प्रश्न पूछता है, तो पुनर्प्राप्तकर्ता सभी संसाधित खंडों को स्कैन करता है और उनमें से उन कुछ खंडों को निकालता है जिनमें उत्तर होने की सबसे अधिक संभावना होती है, फिर उन्हें संदर्भ के रूप में आगे भेजता है।

जनित्र आपका LLM है — यही वह भाग है जो उत्तर लिखता है। RAG में इसे दो इनपुट मिलते हैं: आपका मूल प्रश्न और पुनर्प्राप्तकर्ता द्वारा खोजा गया संदर्भ।

केवल पहले से प्रशिक्षित ज्ञान पर निर्भर रहने के बजाय, LLM अपने उत्तर को आधार देने के लिए पुनर्प्राप्त संदर्भ का उपयोग करता है। यह ऐसा है जैसे किसी विशेषज्ञ को ठीक-ठीक आवश्यक संदर्भ दस्तावेज़ दे दिए गए हों।

पूरा RAG प्रवाह: प्रश्न आता है, पुनर्प्राप्तकर्ता खंड ढूँढता है, प्रश्न और खंड जनित्र को भेजे जाते हैं, LLM आधारयुक्त उत्तर लिखता है और उपयोगकर्ता को तथ्यात्मक उत्तर मिलता है।

पुनरावलोकन: RAG प्रणाली के तीन भाग होते हैं — डेटा स्रोत (ज्ञान), पुनर्प्राप्तकर्ता (बुद्धिमान खोज) और जनित्र (आधारयुक्त उत्तर तैयार करने वाला LLM)।