RAG प्रणाली के मुख्य घटक

आइए RAG तंत्र के हिस्सों को समझें। RAG को अपने LLM के लिए एक समझदार पुस्तकालयाध्यक्ष मानिए, जो आपके अपने ज्ञान-आधार से सही तथ्य ढूँढ़कर लाता है।

यह दस्तावेज़ लोड करने से शुरू होता है: किसी भी स्रोत—PDF, वेब पृष्ठ, डेटाबेस या सादे पाठ—से अपना ज्ञान लाना, ताकि LLM उसका उपयोग कर सके।

दस्तावेज़ लोड करना ऐसा है जैसे AI के पढ़ने के लिए अपनी पुस्तकों और नोट्स को स्कैन करना। स्रोतों में PDF, वेब पृष्ठ और संरचित डेटाबेस सभी शामिल हो सकते हैं।

लोड किए गए दस्तावेज़ आमतौर पर बहुत बड़े होते हैं, इसलिए आप उन्हें खंडों में बाँटते हैं। छोटे हिस्से LLM की सीमित संदर्भ-विंडो में आसानी से आ जाते हैं और उन्हें खोजना भी तेज़ होता है।

हर खंड एक अर्थ-प्रतिरूप बन जाता है—उसके अर्थ का संख्यात्मक पहचान-चिह्न। समान अर्थों के पहचान-चिह्न भी समान होते हैं, इसलिए मशीनें केवल शब्दों की नहीं, विचारों की तुलना कर सकती हैं।

ये अर्थ-प्रतिरूप एक सदिश भंडार में रहते हैं: यह उच्च-आयामी सदिशों को तेज़ी से रखने और खोजने के लिए बनाया गया डेटाबेस है, जो किसी भी प्रश्न के लिए सबसे समान खंड ढूँढ़ता है।

जब कोई प्रश्न आता है, तो पुनर्प्राप्ति शुरू होती है: प्रश्न का अर्थ-प्रतिरूप बनाया जाता है, सदिश भंडार से उसकी तुलना की जाती है और अर्थ की दृष्टि से सबसे निकट वाले प्रमुख खंड निकाले जाते हैं।

अगला चरण संवर्धन है: प्राप्त किए गए खंड उपयोगकर्ता के प्रश्न के साथ जोड़ दिए जाते हैं, जिससे LLM को आपके डेटा से सीधे तैयार की गई तथ्यात्मक सहायक सामग्री मिलती है।

अंत में जनन होता है: LLM प्रश्न और प्राप्त संदर्भ को पढ़कर तथ्य-आधारित उत्तर लिखता है—जिससे मनगढ़ंतियाँ काफी कम हो जाती हैं।

पूरा RAG प्रवाह इस प्रकार है: दस्तावेज़ लोड करें, बाँटें, अर्थ-प्रतिरूप बनाएँ और संग्रहीत करें; फिर प्रश्न का अर्थ-प्रतिरूप बनाएँ, प्रमुख खंड प्राप्त करें, निर्देश को संवर्धित करें और उत्तर उत्पन्न करें।

अब आप RAG के हिस्सों को जानते हैं: लोड करना, बाँटना, अर्थ-प्रतिरूप, सदिश भंडार, पुनर्प्राप्ति, संवर्धन और जनन—ये सभी मिलकर जानकारी-आधारित AI उत्तर तैयार करते हैं।