गार्डरेल क्या होते हैं
सुरक्षा और गुणवत्ता की जाँच-द्वार।
गार्डरेल क्या होते हैं, CoddyKit पर AI प्रॉम्प्ट इंजीनियरिंग का एक निःशुल्क पाठ है। यह 4 में से 1वाँ पाठ है। इस अध्ययन पथ के 3 तक कोई भी पाठ पूरा पढ़ना निःशुल्क है — इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ व्यावहारिक अभ्यास भी उपलब्ध कराता है। यह AI प्रॉम्प्ट इंजीनियरिंग सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। AI प्रॉम्प्ट इंजीनियरिंग पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
सुरक्षा-नियंत्रण की परिभाषा
सुरक्षा-नियंत्रण ऐसे प्रोग्राम-आधारित परीक्षण हैं जो सुरक्षा, नीति और गुणवत्ता लागू करने के लिए LLM के चारों ओर लगाए जाते हैं। वे अंदर आने के मार्ग (उपयोगकर्ता का इनपुट) और बाहर जाने के मार्ग (मॉडल का आउटपुट) पर चलते हैं और यह नियंत्रित करते हैं कि मॉडल तक और उपयोगकर्ता तक क्या पहुँचे।
मॉडल संभाव्य है; सुरक्षा-नियंत्रण उसके ऊपर लगाई गई नियतात्मक नीति-प्रवर्तन परत हैं।
केवल प्रॉम्प्ट देना पर्याप्त क्यों नहीं है
सिस्टम-प्रॉम्प्ट के निर्देश, जैसे ‘रहस्य कभी उजागर न करें’, नरम होते हैं: जेलब्रेक द्वारा बदले जा सकते हैं, लंबे संदर्भों में उनका प्रभाव घट सकता है या वितरण-परिवर्तन के दौरान उनकी अनदेखी हो सकती है। सुरक्षा-नियंत्रण कठोर होते हैं, क्योंकि वे मॉडल के बाहर का ऐसा कोड हैं जिससे बहस नहीं की जा सकती।
बहुस्तरीय सुरक्षा अपनाएँ: मॉडल को निर्देश दें और उसे स्वतंत्र जाँचों से घेरें।
इनपुट बनाम आउटपुट सुरक्षा-नियंत्रण
दो स्थान, दो अलग भूमिकाएँ:
- इनपुट सुरक्षा-नियंत्रण पैसे खर्च करने वाले टोकन भेजे जाने से पहले प्रॉम्प्ट-इंजेक्शन, निषिद्ध अनुरोध और PII को रोकते हैं।
- आउटपुट सुरक्षा-नियंत्रण उपयोगकर्ता तक पहुँचाने से पहले असुरक्षित सामग्री, लीक हुआ डेटा, मनगढ़ंत बातें और स्कीमा-उल्लंघन पकड़ते हैं।
इनपुट जाँच लागत बचाती हैं; आउटपुट जाँच उपयोगकर्ताओं की रक्षा करती हैं।
रोकना, छिपाना, फिर से उत्पन्न करना, आगे भेजना
सुरक्षा-नियंत्रण सक्रिय होने पर एक कार्रवाई तय करना चाहिए:
- रोकें — अनुरोध अस्वीकार करें और सुरक्षित संदेश लौटाएँ।
- हटाएँ — आपत्तिजनक अंश निकालकर आगे बढ़ें।
- पुनः उत्पन्न करें — उल्लंघन का उल्लेख करते हुए फिर से प्रॉम्प्ट भेजें।
- आगे भेजें — मानव या अधिक कठोर मॉडल तक पहुँचाएँ।
सही कार्रवाई गंभीरता और उपयोगकर्ता के भरोसे पर निर्भर करती है।
def on_violation(severity):
if severity == 'critical': return 'block'
if severity == 'pii': return 'redact'
if severity == 'quality': return 'regenerate'
return 'escalate'सुरक्षा-नियंत्रण प्रक्रिया-श्रृंखला
सुरक्षा-नियंत्रणों को क्रमबद्ध प्रक्रिया-श्रृंखला के रूप में संयोजित करें; पहले गंभीर उल्लंघन पर तुरंत विफल घोषित करें।
def guarded_generate(user_input):
for g in INPUT_GUARDS:
verdict = g.check(user_input)
if verdict.block:
return safe_refusal(verdict)
output = call_model(user_input)
for g in OUTPUT_GUARDS:
verdict = g.check(output)
if verdict.block:
return verdict.handle(output)
return outputनियतात्मक बनाम मॉडल-आधारित सुरक्षा-नियंत्रण
कार्यान्वयन की दो शैलियाँ:
- नियतात्मक — नियमित अभिव्यक्तियाँ, स्कीमा, अनुमति/निषेध सूचियाँ और स्थिर सीमाओं वाले वर्गीकारक। तेज़, सस्ते और लेखा-परीक्षण योग्य।
- मॉडल-आधारित — कोई मॉडरेशन मॉडल या LLM सूक्ष्म नीति-संबंधी मामलों का मूल्यांकन करता है। लचीला, लेकिन धीमा और स्वयं भी त्रुटिपूर्ण।
कठोर नियमों के लिए नियतात्मक सुरक्षा-नियंत्रण और निर्णय-आधारित मामलों के लिए मॉडल-आधारित सुरक्षा-नियंत्रण का उपयोग करें।
विलंबता और लागत के बजट
हर सुरक्षा-नियंत्रण विलंबता बढ़ाता है। तेज़ बने रहने की रणनीतियाँ:
- स्वतंत्र आउटपुट जाँचें समानांतर चलाएँ।
- महँगी मॉडल जाँचों से पहले सस्ती नियतात्मक जाँचें चलाएँ।
- पहली गंभीर रोक पर तुरंत रुक जाएँ।
- आउटपुट को स्ट्रीम करें, लेकिन महत्वपूर्ण सुरक्षा-जाँचें सफल होने तक उसे पहुँचाने से रोककर रखें।
verdicts = await asyncio.gather(*[g.check(out) for g in OUTPUT_GUARDS])
if any(v.block for v in verdicts):
return handle(verdicts)झूठे-सकारात्मक परिणामों की वास्तविक लागत
अति-आक्रामक सुरक्षा-नियंत्रण वैध अनुरोध रोकते हैं और उपयोगकर्ताओं को निराश करते हैं (सही-सलामत प्रश्नों पर भी ‘मैं इसमें सहायता नहीं कर सकता’ वाला उत्तर)। लेबल किए गए समुच्चय पर सीमाएँ समायोजित करें और हमलों पर केवल रिकॉल नहीं, बल्कि झूठी-सकारात्मक दर को भी एक प्रमुख मापदंड के रूप में ट्रैक करें।
स्ट्रीमिंग आउटपुट सुरक्षा-जाँच को जटिल बनाती है
यदि आप उपयोगकर्ता को टोकन स्ट्रीम करते हैं, तो देर से आने वाला उल्लंघन पहले ही स्क्रीन पर दिखाई दे सकता है। विकल्प:
- पूरा बफ़र करें, जाँच करें, फिर जारी करें (सबसे सुरक्षित, अधिक विलंबता)।
- स्ट्रीमिंग के दौरान वाक्य-सीमाओं पर जाँच करें।
- आशावादी रूप से स्ट्रीम करें, लेकिन उल्लंघन पर वापस लेकर बदल दें।
चुनाव इस आधार पर करें कि लीक हुए आंशिक आउटपुट से कितना नुकसान हो सकता है।
लेखा-परीक्षण-योग्यता और अभिलेखन
सुरक्षा-नियंत्रण अनुपालन के प्रमाण होते हैं। हर निर्णय का अभिलेख इनपुट हैश, सुरक्षा-जाँच पहचानकर्ता, गंभीरता और की गई कार्रवाई के साथ रखें, लेकिन सावधान रहें कि संवेदनशील सामग्री स्वयं दर्ज न हो। यह रिकॉर्ड लेखा-परीक्षण के दौरान नीति-प्रवर्तन का प्रमाण देता है और समायोजन में मदद करता है।
audit.log({'guard': g.id, 'verdict': verdict.label,
'action': verdict.action, 'input_hash': sha256(inp)})सुरक्षा-नियंत्रण डिज़ाइन का विकल्प नहीं हैं
सुरक्षा-नियंत्रण जोखिम घटाते हैं; उसे समाप्त नहीं करते। जिस मॉडल को किसी रहस्य तक पहुँच ही नहीं है, वह उसे लीक नहीं कर सकता। स्थापत्य-स्तरीय नियंत्रणों को प्राथमिकता दें (न्यूनतम विशेषाधिकार, सीमित दायरे वाले टूल, संदर्भ में कोई संवेदनशील डेटा नहीं) और सुरक्षा-नियंत्रणों को अंतिम परत के रूप में उपयोग करें, एकमात्र परत के रूप में नहीं।
त्वरित जाँच
सुरक्षा-नियंत्रण का कौन-सा स्थान निषिद्ध अनुरोधों पर होने वाला टोकन-खर्च मुख्यतः कम करता है?
पुनरावलोकन
सुरक्षा-नियंत्रण की मूल बातें:
- संभाव्य मॉडल के चारों ओर लगाई गई नियतात्मक नीति।
- इनपुट जाँच लागत बचाती हैं; आउटपुट जाँच उपयोगकर्ताओं की रक्षा करती हैं।
- कार्रवाइयाँ: रोकना, छिपाना, फिर से उत्पन्न करना, आगे भेजना।
- नियतात्मक और मॉडल-आधारित जाँच मिलाएँ; उन्हें समानांतर चलाएँ।
- झूठे-सकारात्मक परिणामों पर नज़र रखें; निर्णयों का अभिलेख रखें; पैबंद लगाने के बजाय स्थापत्य को प्राथमिकता दें।
अगला विषय: इनपुट और आउटपुट फ़िल्टरिंग का गहन अध्ययन।
एआई शिक्षक के साथ AI प्रॉम्प्ट इंजीनियरिंग सीखें — निःशुल्क
अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।
- पाठ्यक्रम
- 53
- पाठ
- 199
अक्सर पूछे जाने वाले प्रश्न
क्या “गार्डरेल क्या होते हैं” पाठ निःशुल्क है?
हाँ — AI प्रॉम्प्ट इंजीनियरिंग अध्ययन पथ के 3 तक कोई भी पाठ, जिसमें “गार्डरेल क्या होते हैं” भी शामिल है, यहाँ वेब पर पूरा पढ़ना निःशुल्क है। इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ इंटरैक्टिव अभ्यास भी उपलब्ध कराता है। AI प्रॉम्प्ट इंजीनियरिंग पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
“गार्डरेल क्या होते हैं” में मैं क्या सीखूँगा?
सुरक्षा और गुणवत्ता की जाँच-द्वार। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ AI प्रॉम्प्ट इंजीनियरिंग का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।
क्या AI प्रॉम्प्ट इंजीनियरिंग शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?
पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर AI प्रॉम्प्ट इंजीनियरिंग शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 1वाँ पाठ है।
“गार्डरेल क्या होते हैं” पाठ पूरा करने में कितना समय लगता है?
CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।
क्या मैं इस AI प्रॉम्प्ट इंजीनियरिंग पाठ में कोड लिख और चला सकता हूँ?
हाँ। हर AI प्रॉम्प्ट इंजीनियरिंग पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।
इस पाठ्यक्रम के सभी पाठ
- गार्डरेल क्या होते हैं
- इनपुट और आउटपुट फ़िल्टरिंग
- स्कीमा और नियम सत्यापक
- स्व-आलोचना सत्यापन