कृत्रिम बुद्धिमत्ता एजेंट और टूल उपयोग को सुरक्षित करना
स्वायत्त एजेंट की कार्रवाइयों को सीमित करना।
कृत्रिम बुद्धिमत्ता एजेंट और टूल उपयोग को सुरक्षित करना, CoddyKit पर Cyber Security Academy का एक निःशुल्क पाठ है। यह 4 में से 3वाँ पाठ है। इस अध्ययन पथ के 3 तक कोई भी पाठ पूरा पढ़ना निःशुल्क है — इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ व्यावहारिक अभ्यास भी उपलब्ध कराता है। यह Cyber Security Academy सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। Cyber Security Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
एजेंटों को जोखिमपूर्ण क्या बनाता है
कृत्रिम बुद्धिमत्ता एजेंट एक ऐसा LLM है जो टूल और एक चक्र से जुड़ा होता है: वह तर्क करता है, फ़ंक्शन चलाता है (खोज, कोड निष्पादन, एपीआई और फ़ाइल तक पहुँच), परिणाम देखता है और लक्ष्य पूरा होने तक दोहराता है। यह स्वायत्तता शक्तिशाली और खतरनाक दोनों है।
सुरक्षा में मूल बदलाव यह है: सामान्य चैटबॉट में खराब परिणाम केवल पाठ होता है। एजेंट में खराब निर्णय वास्तविक कार्रवाई बन जाता है: कोई रिकॉर्ड हट जाना, ईमेल भेजा जाना, धन खर्च होना या गुप्त जानकारी का रिसाव।
क्योंकि अविश्वसनीय सामग्री तर्क-चक्र में प्रवेश कर सकती है, इसलिए एजेंट के पास मौजूद प्रत्येक टूल प्रॉम्प्ट इंजेक्शन के लिए हमले का क्षेत्र है।
टूल के लिए न्यूनतम आवश्यक अधिकार
सबसे महत्वपूर्ण एकल नियंत्रण न्यूनतम आवश्यक अधिकार है। प्रत्येक टूल को काम पूरा करने के लिए आवश्यक सबसे सीमित दायरा दें।
- पठन-लेखन की तुलना में केवल-पठन को प्राथमिकता दें; पढ़ने की पहुँच वर्तमान उपयोगकर्ता के डेटा तक सीमित करें।
- व्यापक टूल को छोटे, सीमित टूल में बाँटें (कच्चे SQL टूल के बजाय
get_invoiceटूल)। - टूल के प्रमाण-पत्रों को साझा सेवा खाते के बजाय अंतिम उपयोगकर्ता की पहचान से जोड़ें, ताकि एजेंट को केवल वही अधिकार मिलें जो उपयोगकर्ता के पास हैं।
# Scope queries to the authenticated user, never raw SQL
def get_invoice(invoice_id: str, *, user_id: str):
return db.query(
"SELECT * FROM invoices WHERE id=%s AND owner=%s",
(invoice_id, user_id),
)मानव-सम्मिलित जाँच-बिंदु
उच्च-प्रभाव वाली या अपरिवर्तनीय कार्रवाइयों के लिए निष्पादन से पहले स्पष्ट मानवीय स्वीकृति आवश्यक करें। एजेंट प्रस्ताव देता है; व्यक्ति पुष्टि करता है।
- बाहरी ईमेल या संदेश भेजना।
- वित्तीय लेन-देन या खरीदारी।
- डेटा हटाना या अधिलेखित करना।
- कोड परिनियोजित करना या आधारभूत संरचना बदलना।
उपयोगकर्ता को सटीक कार्रवाई और उसके तर्क सरल भाषा में दिखाएँ, ताकि वह इंजेक्शन से डाले गए या मनगढ़ंत आदेश को चलने से पहले पहचान सके।
कोड और आदेशों को सैंडबॉक्स में चलाना
कोड या शेल आदेश चलाने वाले एजेंटों को यह काम हमेशा पृथक सैंडबॉक्स में करना चाहिए, मुख्य प्रणाली पर कभी नहीं।
- बिना मुख्य प्रणाली से जुड़े माउंट वाले अस्थायी कंटेनर या microVMs का उपयोग करें।
- डिफ़ॉल्ट रूप से नेटवर्क पहुँच हटा दें; केवल स्पष्ट बाह्य-निकास अनुमत-सूची को अनुमति दें।
- बेकाबू या दुर्भावनापूर्ण कोड को सीमित करने के लिए CPU, स्मृति और समय की सीमाएँ निर्धारित करें।
- केवल-पठन वाले मूल फ़ाइल-तंत्र के साथ गैर-रूट, गैर-विशेषाधिकारप्राप्त उपयोगकर्ता के रूप में चलाएँ।
docker run --rm \
--network none \
--read-only \
--user 1000:1000 \
--memory 256m --cpus 0.5 \
--pids-limit 64 \
agent-sandbox:latest python /work/task.pyघातक त्रिक को तोड़ना
जब किसी एजेंट के पास एक साथ निजी डेटा तक पहुँच, अविश्वसनीय सामग्री का संपर्क और बाहरी रूप से संचार करने की क्षमता होती है, तो वह डेटा-बहिर्गमन का टूल बन जाता है। यही घातक त्रिक है।
किसी भी कार्यप्रवाह में कम-से-कम एक कड़ी हटाने के लिए डिज़ाइन करें:
- अविश्वसनीय सामग्री से जुड़े सत्रों को संवेदनशील डेटा रखने वाले सत्रों से अलग करें।
- बाहर जाने वाले नेटवर्क निकास को कड़ी अनुमत-सूची तक सीमित करें।
- जब संदर्भ में निजी डेटा हो, तब किसी भी बाहरी प्रेषण से पहले स्वीकृति आवश्यक करें।
अविश्वसनीय टूल परिणाम
टूल के परिणाम मॉडल के संदर्भ में फिर प्रवेश करते हैं, इसलिए टूल का परिणाम अविश्वसनीय इनपुट है। कोई वेब पृष्ठ, प्राप्त की गई फ़ाइल या एपीआई प्रतिक्रिया अगले तर्क-चरण को प्रभावित करने वाले डाले गए निर्देश रख सकती है।
- टूल के परिणाम को स्पष्ट सीमांककों में रखें और उसे आदेश नहीं, डेटा के रूप में चिह्नित करें।
- छिपे हुए पाठ को हटाएँ या निष्प्रभावी करें (HTML टिप्पणियाँ, शून्य-चौड़ाई वाले वर्ण और पर्दे के बाहर का CSS)।
- आक्रमण-सामग्री के लिए उपलब्ध जगह सीमित करने हेतु डाली गई सामग्री का आकार सीमित करें।
नीति-जाँच के बिना कच्चे टूल परिणाम को चुपचाप अगले टूल आह्वान का निर्देश न देने दें।
कार्रवाइयों की अनुमत-सूची और नीति-प्रवर्तन
मॉडल से स्वयं निगरानी करने की अपेक्षा न रखें। एजेंट और प्रत्येक टूल के बीच कोड में नीति-स्तर लागू करें।
- प्रत्येक टूल आह्वान को अनुमत कार्रवाइयों और तर्कों के प्रारूपों वाली अनुमत-सूची के विरुद्ध जाँचें।
- वर्तमान कार्य के दायरे से बाहर होने वाले आह्वानों को अस्वीकार करें।
- प्रत्येक टूल और प्रत्येक उपयोगकर्ता के लिए दर सीमाएँ और बजट लागू करें।
यह नियतात्मक द्वार मॉडल के निर्णय से स्वतंत्र रूप से चलता है, इसलिए सफल इंजेक्शन भी एक कठोर अवरोध से टकराता है।
def authorize(call):
if call.name not in ALLOWED_TOOLS:
raise PolicyError("tool not allowed")
if not SCHEMA[call.name].validate(call.args):
raise PolicyError("bad arguments")
if exceeds_budget(call):
raise PolicyError("rate limit")दोहराव-चक्र की सीमा तय करना
स्वायत्त चक्र बेकाबू हो सकते हैं: अनंत पुनःप्रयास, पुनरावर्ती टूल आह्वान और अनियंत्रित खर्च (जेब-खाली करने वाला हमला)। इनकी सीमाएँ निर्धारित करें।
- प्रत्येक कार्य के लिए चरणों की अधिकतम संख्या और कुल टोकन सीमित करें।
- पूरे निष्पादन पर वास्तविक समय की समय-सीमाएँ निर्धारित करें।
- संचयी लागत पर नज़र रखें और सीमा पार होने पर रोक दें।
- चक्रों का पता लगाएँ (एक जैसे आह्वानों की पुनरावृत्ति) और उनसे बाहर निकलें।
ये सीमाएँ DoS और असीमित उपभोग के हमलों को भी कम करती हैं (OWASP LLM10)।
स्मृति और बहु-एजेंट प्रणालियों के जोखिम
स्थायी एजेंट स्मृति और बहु-एजेंट प्रणालियाँ हमले के नए क्षेत्र जोड़ती हैं:
- स्मृति विषाक्तीकरण: एक सत्र में दीर्घकालिक स्मृति में लिखा गया इंजेक्शन बाद के सत्रों को प्रभावित करता है। स्थायी रूप से सहेजी जाने वाली चीज़ों का सत्यापन करें और उनका दायरा सीमित रखें।
- एजेंटों के बीच विश्वास: एक संक्रमित एजेंट दूसरे एजेंट में निर्देश डाल सकता है। एजेंटों के बीच संदेशों को अविश्वसनीय मानें।
- भ्रमित प्रतिनिधि: कम-विश्वास वाले एजेंट के अनुरोध पर काम करने वाला विशेषाधिकारप्राप्त एजेंट। मूल अनुरोधकर्ता का प्राधिकरण पूरे क्रम में साथ ले जाएँ।
लॉग-लेखन और निगरानी-दृश्यता
जिसे आप देख नहीं सकते, उसे सुरक्षित नहीं कर सकते। एजेंट के पूरे ट्रेस को निगरानी में लाएँ:
- हर टूल आह्वान, उसके तर्क और उसके परिणाम का लॉग दर्ज करें।
- फॉरेंसिक जाँच के लिए तर्क-संदर्भ और प्राप्त की गई किसी भी सामग्री को रिकॉर्ड करें।
- असामान्यताओं पर चेतावनी दें: अप्रत्याशित बाह्य-निकास, विशेषाधिकार का उपयोग, बार-बार अस्वीकृतियाँ और लागत में उछाल।
- कार्रवाई करने वाले उपयोगकर्ता से जुड़ा अपरिवर्तनीय लेखा-परीक्षण रिकॉर्ड रखें।
अच्छा प्रेक्षण डेटा किसी छिपे सुरक्षा-भंग को ऐसी घटना में बदल देता है जिसका पता लगाया और जाँच किया जा सकता है।
बहुस्तरीय एजेंट संरचना
सबको मिलाकर, एक सुरक्षित एजेंट संरचना इस प्रकार दिखती है:
- पहचान: कार्रवाइयाँ अंतिम उपयोगकर्ता के रूप में न्यूनतम-अधिकार वाले दायरों के साथ चलती हैं।
- नीति-द्वार: प्रत्येक टूल आह्वान पर नियतात्मक अनुमत-सूची और स्कीमा सत्यापन।
- सैंडबॉक्स: सीमित नेटवर्क और संसाधनों के साथ पृथक निष्पादन।
- मानवीय जाँच-बिंदु: अपरिवर्तनीय कार्रवाइयों के लिए स्वीकृति।
- सीमाएँ: चरण, टोकन, समय और लागत के बजट।
- निगरानी-दृश्यता: पूरा लेखा-परीक्षण लॉग-लेखन और असामान्यता चेतावनियाँ।
मानकर चलें कि मॉडल का अपहरण किया जा सकता है; यह सुनिश्चित करें कि ऐसा होने पर भी संभावित नुकसान का दायरा छोटा रहे।
त्वरित जाँच
एजेंट सुरक्षा नियंत्रणों की अपनी समझ जाँचें।
पुनरावलोकन
AI एजेंटों और उपकरणों के उपयोग को सुरक्षित बनाना:
- एजेंट खराब परिणामों को वास्तविक कार्रवाइयों में बदल देते हैं, इसलिए प्रत्येक उपकरण हमले का संभावित क्षेत्र है।
- प्रत्येक उपकरण के लिए न्यूनतम विशेषाधिकार लागू करें और प्रमाण-पत्रों को अंतिम उपयोगकर्ता से संबद्ध करें।
- अपरिवर्तनीय कार्रवाइयों के लिए मानवीय अनुमोदन अनिवार्य करें और कोड निष्पादन को सुरक्षित पृथक वातावरण में करें।
- घातक त्रयी को तोड़ें; उपकरण से मिले परिणाम को अविश्वसनीय आगत मानें।
- कोड में एक नियतात्मक नीति-द्वार लागू करें (अनुमति-सूचियाँ, स्कीमा सत्यापन), प्रॉम्प्ट में नहीं।
- चक्र की सीमाएँ तय करें (चरण, टोकन, समय, लागत) और पहचान के लिए उपकरण की हर कॉल का लॉग दर्ज करें।
एआई शिक्षक के साथ Cyber Security Academy सीखें — निःशुल्क
अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।
- पाठ्यक्रम
- 76
- पाठ
- 303
अक्सर पूछे जाने वाले प्रश्न
क्या “कृत्रिम बुद्धिमत्ता एजेंट और टूल उपयोग को सुरक्षित करना” पाठ निःशुल्क है?
हाँ — Cyber Security Academy अध्ययन पथ के 3 तक कोई भी पाठ, जिसमें “कृत्रिम बुद्धिमत्ता एजेंट और टूल उपयोग को सुरक्षित करना” भी शामिल है, यहाँ वेब पर पूरा पढ़ना निःशुल्क है। इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ इंटरैक्टिव अभ्यास भी उपलब्ध कराता है। Cyber Security Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।
“कृत्रिम बुद्धिमत्ता एजेंट और टूल उपयोग को सुरक्षित करना” में मैं क्या सीखूँगा?
स्वायत्त एजेंट की कार्रवाइयों को सीमित करना। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ Cyber Security Academy का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।
क्या Cyber Security Academy शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?
पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर Cyber Security Academy शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 3वाँ पाठ है।
“कृत्रिम बुद्धिमत्ता एजेंट और टूल उपयोग को सुरक्षित करना” पाठ पूरा करने में कितना समय लगता है?
CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।
क्या मैं इस Cyber Security Academy पाठ में कोड लिख और चला सकता हूँ?
हाँ। हर Cyber Security Academy पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।
इस पाठ्यक्रम के सभी पाठ
- प्रॉम्प्ट इंजेक्शन और जेलब्रेक
- OWASP LLM Top 10
- कृत्रिम बुद्धिमत्ता एजेंट और टूल उपयोग को सुरक्षित करना
- मॉडल, डेटा और सप्लाई चेन के जोखिम