RAG प्रदर्शन के प्रमुख मापदंड

Retrieval Augmented Generation (RAG) प्रणालियाँ बनाते समय केवल उन्हें लागू कर देना पर्याप्त नहीं है। हमें यह जानना आवश्यक है कि वे वास्तव में अच्छी तरह काम कर रही हैं या नहीं!

RAG का मूल्यांकन अकेले Large Language Model (LLM) के मूल्यांकन से अधिक जटिल है, क्योंकि इसमें दो मुख्य चरण शामिल होते हैं: पुनर्प्राप्ति और निर्माण।

पारंपरिक LLM मूल्यांकन मापदंड अक्सर निर्मित पाठ की गुणवत्ता, जैसे प्रवाह या सुसंगतता, पर ध्यान देते हैं। लेकिन RAG प्रणालियों के विशिष्ट लक्ष्य होते हैं:

• तथ्यों पर आधारित उत्तर प्रदान करना।
• 'मनगढ़ंत जानकारी' से बचना।
• अपने डेटा से केवल प्रासंगिक जानकारी का उपयोग करना।

इसके लिए मापदंडों के एक विशेष समूह की आवश्यकता होती है।

पहला महत्वपूर्ण मापदंड संदर्भ प्रासंगिकता है।

• यह मापता है कि पुनःप्राप्त दस्तावेज़ या 'संदर्भ' उपयोगकर्ता के मूल प्रश्न से कितने प्रासंगिक हैं।
• यदि पुनर्प्राप्तिकर्ता अप्रासंगिक जानकारी लाता है, तो LLM के पास काम करने के लिए अच्छी सामग्री नहीं होगी और उत्तर खराब हो सकते हैं।

उच्च संदर्भ प्रासंगिकता का अर्थ है कि आपका पुनर्प्राप्तिकर्ता अपना काम अच्छी तरह कर रहा है!

मान लीजिए कोई उपयोगकर्ता पूछता है: "सेब खाने के क्या लाभ हैं?"

अच्छा संदर्भ: "सेब में फ़ाइबर, विटामिन C और एंटीऑक्सिडेंट भरपूर मात्रा में होते हैं..." (उच्च प्रासंगिकता)

खराब संदर्भ: "संतरे खट्टे फल होते हैं। सेब हरे या लाल हो सकते हैं..." ('लाभ' के लिए कम प्रासंगिकता)

पुनःप्राप्त संदर्भ की गुणवत्ता LLM की सही उत्तर देने की क्षमता को सीधे प्रभावित करती है।

इसके बाद तथ्यनिष्ठता आती है, जिसे 'आधारिता' भी कहा जाता है।

• यह मापदंड जाँचता है कि LLM का निर्मित उत्तर पुनःप्राप्त संदर्भ से पूरी तरह समर्थित है या नहीं।
• यह 'मनगढ़ंत जानकारी' रोकने के लिए अत्यंत महत्वपूर्ण है—ऐसी जानकारी जिसे LLM स्रोत सामग्री में मौजूद न होने पर भी गढ़ देता है।

तथ्यनिष्ठ RAG प्रणाली केवल वही जानकारी देगी जिसे वह अपने स्रोतों से सत्यापित कर सके।

उपयोगकर्ता का प्रश्न: "फ़्रांस की राजधानी क्या है?"

पुनःप्राप्त संदर्भ: "पेरिस फ़्रांस की राजधानी है और एफिल टावर के लिए प्रसिद्ध है।"

तथ्यनिष्ठ उत्तर: "फ़्रांस की राजधानी पेरिस है।" (संदर्भ से समर्थित)

अतथ्यनिष्ठ उत्तर: "फ़्रांस की राजधानी लियोन है, जो एक सुंदर शहर है।" (संदर्भ से समर्थित नहीं)

उत्तर प्रासंगिकता यह मूल्यांकित करती है कि LLM की निर्मित प्रतिक्रिया उपयोगकर्ता के मूल प्रश्न का सीधे उत्तर देती है या नहीं।

• उत्तर तथ्यनिष्ठ और प्रासंगिक संदर्भ पर आधारित होने पर भी बहुत विस्तृत, विषयांतरित या प्रश्न के मुख्य बिंदु से चूक सकता है।
• यह मापदंड सुनिश्चित करता है कि अंतिम परिणाम उपयोगकर्ता के लिए उपयोगी और सीधे मुद्दे पर हो।

उपयोगकर्ता का प्रश्न: "इंटरनेट का आविष्कार कब हुआ?"

पुनःप्राप्त संदर्भ: "इंटरनेट की शुरुआत 1960 के दशक में ARPANET के साथ हुई थी..."

प्रासंगिक उत्तर: "इंटरनेट की शुरुआत 1960 के दशक में ARPANET के साथ हुई थी।"

अप्रासंगिक उत्तर: "इंटरनेट कंप्यूटरों का एक वैश्विक नेटवर्क है। इसने संचार में क्रांति ला दी है।" ('कब' का उत्तर नहीं देता)

जहाँ पिछले मापदंड RAG प्रणाली का समग्र मूल्यांकन करते हैं, वहीं पुनर्प्राप्ति घटक के लिए Information Retrieval (IR) के पारंपरिक मापदंड, जैसे परिशुद्धता और पुनःप्राप्ति दर, अत्यंत महत्वपूर्ण हैं।

• परिशुद्धता: पुनःप्राप्त दस्तावेज़ों में से कितने प्रतिशत वास्तव में प्रासंगिक हैं? (अप्रासंगिक दस्तावेज़ों को न्यूनतम करना)
• पुनःप्राप्ति दर: वास्तव में प्रासंगिक सभी दस्तावेज़ों में से कितने प्रतिशत पुनःप्राप्त किए गए? (छूटे हुए प्रासंगिक दस्तावेज़ों को न्यूनतम करना)

LLM को सर्वोत्तम संभव संदर्भ देने के लिए इन दोनों के बीच संतुलन महत्वपूर्ण है।

बधाई हो! आपने RAG प्रणालियों के मूल्यांकन के लिए महत्वपूर्ण मापदंडों के बारे में सीखा है:

• संदर्भ प्रासंगिकता: पुनःप्राप्त जानकारी कितनी अच्छी है?
• तथ्यनिष्ठता: क्या उत्तर पुनःप्राप्त संदर्भ के अनुरूप सत्य है?
• उत्तर प्रासंगिकता: क्या उत्तर उपयोगकर्ता के प्रश्न का समाधान करता है?
• परिशुद्धता और पुनःप्राप्ति दर: पुनर्प्राप्ति घटक कितना प्रभावी है?

इनमें निपुणता प्राप्त करने से आपको अधिक सटीक, विश्वसनीय और उपयोगी RAG अनुप्रयोग बनाने में मदद मिलेगी।