RAG प्रणाली के प्रदर्शन का मूल्यांकन

RAG में पहला कदम अच्छा संदर्भ प्राप्त करना है। हमारा सिस्टम जानकारी कितनी अच्छी तरह प्राप्त करता है, इसका आकलन करने के लिए हम विशिष्ट मेट्रिक्स का उपयोग करते हैं।

• संदर्भ प्रासंगिकता: प्राप्त जानकारी उपयोगकर्ता की मूल क्वेरी के लिए कितनी उपयुक्त है?
• संदर्भ पूर्ण-पुनर्प्राप्ति: क्या सिस्टम ने प्रश्न का उत्तर देने के लिए आवश्यक *सारी* जानकारी प्राप्त की?
• ये मेट्रिक्स सुनिश्चित करते हैं कि उत्तर तैयार करने के लिए LLM के पास सर्वोत्तम संभव आधार हो।

संदर्भ प्रासंगिकता यह मापती है कि प्राप्त दस्तावेज़ या अंश वास्तव में उपयोगकर्ता के प्रश्न से संबंधित हैं या नहीं।

कल्पना कीजिए कि आप 'सौर पैनल' के बारे में पूछें और आपको 'पवन टर्बाइन' पर एक लेख मिल जाए। यह कम संदर्भ प्रासंगिकता है। उच्च प्रासंगिकता का अर्थ है कि प्राप्त पाठ सीधे क्वेरी के विषय को संबोधित करता है।

आमतौर पर इसका आकलन क्वेरी की तुलना प्राप्त किए गए प्रत्येक संदर्भ-खंड से करके किया जाता है।

संदर्भ पूर्ण-पुनर्प्राप्ति का ध्यान पूर्णता पर होता है। इसका प्रश्न है: 'क्या RAG सिस्टम ने उपयोगकर्ता के प्रश्न का पूरी तरह उत्तर देने के लिए आवश्यक *सभी* महत्वपूर्ण जानकारी प्राप्त की?'

प्राप्त दस्तावेज़ प्रासंगिक होने पर भी, यदि उनमें कोई महत्वपूर्ण तथ्य छूट जाए, तो पूर्ण-पुनर्प्राप्ति कम मानी जाती है। उदाहरण के लिए, यदि किसी प्रश्न का पूरा उत्तर देने के लिए 3 तथ्यों की आवश्यकता हो और केवल 2 प्राप्त हों, तो पूर्ण-पुनर्प्राप्ति पूर्ण नहीं है।

जटिल प्रश्नों के लिए यह मेट्रिक विशेष रूप से महत्वपूर्ण है।

संदर्भ प्राप्त होने के बाद LLM एक उत्तर तैयार करता है। हमें इस तैयार किए गए पाठ की गुणवत्ता का मूल्यांकन करना आवश्यक है।

• उत्तर निष्ठा (आधार-संबद्धता): क्या उत्तर पूरी तरह दिए गए संदर्भ पर आधारित है, या यह जानकारी 'गढ़' रहा है?
• उत्तर प्रासंगिकता: क्या उत्तर सीधे उपयोगकर्ता के मूल प्रश्न को संबोधित करता है?
• उत्तर सुसंगतता: क्या उत्तर सुव्यवस्थित, पठनीय और व्याकरण की दृष्टि से सही है?

निष्ठा RAG के लिए महत्वपूर्ण है। यह मापती है कि तैयार किए गए उत्तर का प्रत्येक कथन प्राप्त संदर्भ से सीधे समर्थित किया जा सकता है या नहीं।

यदि LLM संदर्भ में न मिलने वाली जानकारी जोड़ता है, तो उसे अनिष्ठ या 'गढ़ी हुई' जानकारी माना जाता है। इससे गलत या भ्रामक उत्तर मिल सकते हैं।

उदाहरण: यदि संदर्भ में कहा गया हो 'A, B है' और उत्तर में कहा जाए 'A, C है', तो वह अनिष्ठ है।

उत्तर प्रासंगिकता सुनिश्चित करती है कि तैयार किया गया उत्तर विषय से भटके बिना सीधे उपयोगकर्ता के प्रश्न को संबोधित करे।

उत्तर सुसंगतता उत्तर की पठनीयता, तार्किक प्रवाह और व्याकरणिक शुद्धता का आकलन करती है। सुसंगत उत्तर को समझना आसान और सुव्यवस्थित होता है।

• प्रासंगिकता: क्या यह प्रश्न का उत्तर देता है?
• सुसंगतता: क्या यह अच्छी तरह लिखा गया और पढ़ने में आसान है?

हम इन मेट्रिक्स को वास्तव में कैसे मापते हैं?

• मानवीय मूल्यांकन: स्वर्ण मानक, लेकिन धीमा और महँगा। मानवीय एनोटेटर दिशानिर्देशों के आधार पर उत्तरों को हाथ से अंक देते हैं।
• स्वचालित मूल्यांकन: अधिक तेज़ और बड़े पैमाने पर उपयोग योग्य। उत्तरों को अंक देने के लिए अन्य LLMs या सांख्यिकीय विधियों का उपयोग करता है। इसमें सूक्ष्मता कम हो सकती है, लेकिन बड़े डेटासेट और बार-बार की जाने वाली जाँच के लिए यह उपयोगी है।
• अक्सर दोनों का संयोजन किया जाता है: महत्वपूर्ण मामलों के लिए मानवीय मूल्यांकन और विकास तथा बड़े पैमाने पर परीक्षण के लिए स्वचालित मूल्यांकन।

बहुत अच्छा! आपने अपने RAG सिस्टम का मूल्यांकन करना सीख लिया है।

• हम पुनर्प्राप्ति गुणवत्ता (संदर्भ प्रासंगिकता, संदर्भ पूर्ण-पुनर्प्राप्ति) और निर्माण गुणवत्ता (निष्ठा, प्रासंगिकता, सुसंगतता)—दोनों का मूल्यांकन करते हैं।
• संदर्भ प्रासंगिकता सुनिश्चित करती है कि प्राप्त जानकारी विषय से संबंधित हो।
• संदर्भ पूर्ण-पुनर्प्राप्ति जाँचती है कि सभी आवश्यक जानकारी प्राप्त हुई है या नहीं।
• उत्तर निष्ठा यह सुनिश्चित करके कि उत्तर संदर्भ पर आधारित हो, गढ़ी हुई जानकारी को रोकती है।
• उत्तर प्रासंगिकता उत्तर को प्रश्न पर केंद्रित रखती है, और सुसंगतता पठनीयता सुनिश्चित करती है।
• मूल्यांकन के लिए मानवीय और स्वचालित—दोनों विधियों का उपयोग किया जाता है।