उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) · पाठ

A/B परीक्षण और उपयोगकर्ता प्रतिक्रिया चक्र

परिवर्तनों को मान्य करने और RAG मॉडल में निरंतर सुधार के लिए उपयोगकर्ता प्रतिक्रिया को शामिल करने हेतु A/B परीक्षण ढाँचे लागू कीजिए।

पाठ 3, कुल 4 में से11 चरण

A/B परीक्षण और उपयोगकर्ता प्रतिक्रिया चक्र, CoddyKit पर उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) का एक निःशुल्क पाठ है। यह 4 में से 3वाँ पाठ है। आप नीचे पूरा पाठ निःशुल्क पढ़ सकते हैं—फिर अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर के साथ ब्राउज़र में इसका व्यावहारिक अभ्यास कर सकते हैं। यह उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

A/B परीक्षण क्या है?

जब आप अपने RAG सिस्टम में बदलाव करते हैं, तो आपको कैसे पता चलेगा कि वे वास्तव में बेहतर हैं? A/B परीक्षण किसी चीज़ के दो संस्करणों की तुलना करके यह देखने की प्रभावी विधि है कि कौन सा बेहतर प्रदर्शन करता है।

आप अलग-अलग उपयोगकर्ता समूहों को अलग-अलग संस्करण दिखाते हैं और प्रभाव को मापते हैं। यह आपके RAG मॉडल के लिए वैज्ञानिक प्रयोग जैसा है!

RAG सिस्टम के लाभ

RAG सिस्टम के लिए A/B परीक्षण आपकी इन कामों में सहायता करता है:

सुधारों को मान्य करना: यह पुष्टि करना कि नई खंड-विभाजन रणनीति या पुनः-रैंकिंग वास्तव में प्रासंगिकता बढ़ाती है या नहीं।
जोखिम कम करना: बदलावों को पूरी तरह लागू करने से पहले छोटे उपयोगकर्ता समूह पर उनका परीक्षण करना।
उपयोगकर्ता अनुभव को बेहतर बनाना: यह पता लगाना कि उपयोगकर्ता कौन सा RAG विन्यास पसंद करते हैं या सबसे उपयोगी पाते हैं।

अपने प्रयोग की तैयारी करना

A/B परीक्षण में कम से कम दो संस्करण होते हैं:

संस्करण A (नियंत्रण): यह आपका वर्तमान, मौजूदा RAG सिस्टम है। यह तुलना के लिए आधाररेखा का काम करता है।
संस्करण B (वैकल्पिक): यह आपके प्रस्तावित बदलाव वाला नया RAG सिस्टम है (जैसे, नया एम्बेडिंग मॉडल या अलग निर्देश)।

आप दोनों के प्रदर्शन की साथ-साथ तुलना करते हैं।

उपयोगकर्ताओं को कैसे विभाजित करें

A/B परीक्षण चलाने के लिए आपको अलग-अलग उपयोगकर्ताओं को अपने RAG सिस्टम के अलग-अलग संस्करणों तक पहुंचाना होगा। इसे ट्रैफ़िक विभाजन कहा जाता है।

उपयोगकर्ताओं को बेतरतीब ढंग से या तो नियंत्रण समूह (संस्करण A) या वैकल्पिक समूह (संस्करण B) में रखा जाता है। निष्पक्ष तुलना सुनिश्चित करने के लिए यादृच्छिकता महत्वपूर्ण है।

आइए, इसे अनुकरण करने का एक सरल तरीका देखते हैं:

import random

def get_rag_version():
    # Simulate a 50/50 split for simplicity
    if random.random() < 0.5:
        return "Version A (Control)"
    else:
        return "Version B (Variant)"

# Example: Simulate user assignment
for i in range(1, 6): # For 5 users
    assigned_version = get_rag_version()
    print(f"User {i} gets: {assigned_version}")

सफलता को मापना

RAG A/B परीक्षण में आपको क्या मापना चाहिए? ऐसे मापदंडों पर ध्यान दीजिए जो उपयोगकर्ता संतुष्टि और RAG की गुणवत्ता दर्शाते हों:

सहभागिता: उपयोगकर्ता उत्तरों के साथ कितनी बार इंटरैक्ट करते हैं।
क्लिक-थ्रू दर: यदि स्रोत दिए गए हों, तो क्या उपयोगकर्ता उन पर क्लिक करते हैं?
उपयोगकर्ता रेटिंग: उत्तर की गुणवत्ता के लिए पसंद या नापसंद।
कार्य-पूर्ति: क्या उपयोगकर्ता ने सफलतापूर्वक जानकारी खोज ली?

इनसे यह मापने में सहायता मिलती है कि कौन सा संस्करण "बेहतर" है।

मापदंडों से आगे: उपयोगकर्ता की प्रतिक्रिया

जहां A/B परीक्षण मात्रात्मक डेटा प्रदान करते हैं, वहीं उपयोगकर्ता की प्रतिक्रिया गुणात्मक अंतर्दृष्टि देती है। यह आपके RAG सिस्टम के साथ उनके अनुभव के बारे में उपयोगकर्ताओं से सीधे मिलने वाला इनपुट है।

यह प्रतिक्रिया आपको समझने में सहायता करती है कि कुछ संस्करण बेहतर या खराब प्रदर्शन क्यों करते हैं और उन समस्याओं को सामने लाती है जिन्हें आपने शायद मापा न हो।

सीधी प्रतिक्रिया कैसे एकत्र करें

आप कई तरीकों से सीधी प्रतिक्रिया एकत्र कर सकते हैं:

पसंद/नापसंद बटन: प्रत्येक उत्तर पर तुरंत राय।
छोटे सर्वेक्षण: प्रासंगिकता, उपयोगिता या स्पष्टता के बारे में विशिष्ट प्रश्न पूछिए।
मुक्त-पाठ इनपुट: उपयोगकर्ताओं को अपने शब्दों में अपना अनुभव बताने की अनुमति दीजिए।

उपयोगकर्ताओं के लिए अपने विचार साझा करना आसान बनाइए।

अप्रत्यक्ष संकेत

सीधे इनपुट के अलावा, उपयोगकर्ता अपने व्यवहार के माध्यम से अप्रत्यक्ष प्रतिक्रिया भी देते हैं। इसे विश्लेषण के माध्यम से दर्ज किया जा सकता है:

प्रश्नों का पुनर्लेखन: यदि कोई उपयोगकर्ता अपना प्रश्न कई बार अलग तरीके से लिखता है, तो प्रारंभिक RAG उत्तर खराब रहा हो सकता है।
बिताया गया समय: किसी उत्तर पर अधिक समय लगने का अर्थ यह हो सकता है कि वह जटिल या अनुपयोगी है।
स्क्रॉल की गहराई: उपयोगकर्ता ने उत्तर का कितना भाग पढ़ा?

समस्याओं के बिंदु पहचानने के लिए ये अप्रत्यक्ष संकेत मूल्यवान हैं।

सुधार के लिए प्रतिक्रिया का उपयोग करना

प्रतिक्रिया एकत्र करना केवल पहला चरण है। वास्तविक लाभ उस पर कार्रवाई करने से मिलता है।

रुझानों, आम समस्याओं या अप्रत्याशित सफलताओं को पहचानने के लिए प्रतिक्रिया का विश्लेषण कीजिए। अपने अगले RAG सिस्टम सुधारों के लिए इन अंतर्दृष्टियों का उपयोग कीजिए, जिन्हें फिर किसी अन्य A/B प्रयोग के माध्यम से जांचा जा सकता है।

इससे सुधार का एक निरंतर चक्र बनता है!

A/B परीक्षण और प्रतिक्रिया प्रश्नोत्तरी

आपने अभी एक नया RAG सिस्टम (संस्करण B) पुराने सिस्टम (संस्करण A) के साथ कम प्रतिशत उपयोगकर्ताओं के लिए लागू किया है। आप उपयोगकर्ता संतुष्टि रेटिंग और उत्तर की प्रासंगिकता जैसे मापदंडों पर नज़र रख रहे हैं।

निम्नलिखित में से कौन सा इस दृष्टिकोण के उद्देश्य का सबसे अच्छा वर्णन करता है?

इंटरैक्टिव पाठ में इसका उत्तर दें

A/B परीक्षण और प्रतिक्रिया चक्र

बहुत अच्छा! आपने RAG सिस्टम में बदलावों को मान्य करने के लिए A/B परीक्षण के महत्व के बारे में सीखा है—नियंत्रण और वैकल्पिक समूह तैयार करने से लेकर ट्रैफ़िक विभाजित करने और प्रमुख मापदंडों को मापने तक।

हमने गुणात्मक अंतर्दृष्टि प्राप्त करने और निरंतर सुधार को आगे बढ़ाने के लिए प्रत्यक्ष और अप्रत्यक्ष, दोनों प्रकार की उपयोगकर्ता प्रतिक्रिया एकत्र करने का तरीका भी देखा। ये प्रक्रियाएं सुनिश्चित करती हैं कि आपका RAG सिस्टम वास्तविक दुनिया के प्रदर्शन और उपयोगकर्ताओं की आवश्यकताओं के आधार पर विकसित होता रहे।

शुरुआत निःशुल्क

एआई शिक्षक के साथ उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) सीखें — निःशुल्क

अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।

पाठ्यक्रम: 12
पाठ: 48

निःशुल्क सीखना शुरू करें पूरा पाठ्यक्रम देखें

अक्सर पूछे जाने वाले प्रश्न

क्या “A/B परीक्षण और उपयोगकर्ता प्रतिक्रिया चक्र” पाठ निःशुल्क है?

हाँ—“A/B परीक्षण और उपयोगकर्ता प्रतिक्रिया चक्र” का पूरा पाठ यहाँ वेब पर निःशुल्क पढ़ा जा सकता है। इंटरैक्टिव अभ्यास (अंतर्निहित कोड संपादक और 24/7 एआई ट्यूटर) करने और उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पाठ्यक्रम का बाकी हिस्सा अनलॉक करने के लिए CoddyKit PRO लें। उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

“A/B परीक्षण और उपयोगकर्ता प्रतिक्रिया चक्र” में मैं क्या सीखूँगा?

परिवर्तनों को मान्य करने और RAG मॉडल में निरंतर सुधार के लिए उपयोगकर्ता प्रतिक्रिया को शामिल करने हेतु A/B परीक्षण ढाँचे लागू कीजिए। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।

क्या उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?

पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 3वाँ पाठ है।

“A/B परीक्षण और उपयोगकर्ता प्रतिक्रिया चक्र” पाठ पूरा करने में कितना समय लगता है?

CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।

क्या मैं इस उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पाठ में कोड लिख और चला सकता हूँ?

हाँ। हर उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।

इस पाठ्यक्रम के सभी पाठ

RAG प्रदर्शन के प्रमुख मापदंड
मूल्यांकन मानदंड विकसित करना
A/B परीक्षण और उपयोगकर्ता प्रतिक्रिया चक्र
हैलुसिनेशन का पता लगाना और मापना

← उत्पादन में LLM अनुप्रयोग (RAG + वेक्टर DB + कैशिंग) पर वापस जाएँ