Cyber Security Academy · पाठ

OWASP LLM Top 10

LLM अनुप्रयोगों के प्रमुख जोखिम।

पाठ 2, कुल 4 में से13 चरण

OWASP LLM Top 10, CoddyKit पर Cyber Security Academy का एक निःशुल्क पाठ है। यह 4 में से 2वाँ पाठ है। इस अध्ययन पथ के 3 तक कोई भी पाठ पूरा पढ़ना निःशुल्क है — इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ व्यावहारिक अभ्यास भी उपलब्ध कराता है। यह Cyber Security Academy सीखने के मार्ग का हिस्सा है और आपकी प्रगति वेब तथा CoddyKit ऐप पर सिंक होती रहती है। Cyber Security Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

LLM के शीर्ष 10 क्यों

बड़े भाषा-मॉडल अनुप्रयोगों के लिए OWASP के शीर्ष 10 समुदाय-प्रेरित सूची है, जिसमें LLM पर आधारित प्रणालियों के लिए विशिष्ट सबसे महत्वपूर्ण सुरक्षा जोखिम शामिल हैं। यह प्रसिद्ध OWASP वेब शीर्ष 10 के समान है, लेकिन उन खतरों को संबोधित करती है जिन्हें पारंपरिक AppSec सूचियाँ नज़रअंदाज़ कर देती हैं।

यह सूची इसलिए आवश्यक है क्योंकि LLM अनुप्रयोग नए आक्रमण क्षेत्र प्रस्तुत करते हैं: प्राकृतिक-भाषा नियंत्रण-प्रवाह, अनिर्धार्य परिणाम, मॉडल आपूर्ति-श्रृंखलाएँ और स्वायत्त एजेंट। यह सूची सुरक्षा टीमों को खतरा-मॉडलिंग के लिए साझा शब्दावली और जाँच-सूची देती है।

नीचे दिए गए कोड 2025 संस्करण की LLM01-LLM10 क्रमांकन का उपयोग करते हैं।

LLM01 प्रॉम्प्ट इंजेक्शन

LLM01: प्रॉम्प्ट इंजेक्शन लगातार सबसे बड़ा जोखिम बना हुआ है। हमलावर द्वारा नियंत्रित पाठ विकासकर्ता के निर्देशों को अधिलेखित कर देता है, क्योंकि मॉडल विश्वसनीय निर्देशों को अविश्वसनीय डेटा से अलग नहीं कर सकता।

प्रत्यक्ष: उपयोगकर्ता निर्देशों को बदलने वाले निर्देश टाइप करता है।
अप्रत्यक्ष: निर्देश प्राप्त किए गए वेब पृष्ठों, फ़ाइलों या टूल के परिणामों में छिपे होते हैं।

बचाव के उपाय: टूल पर न्यूनतम आवश्यक अधिकार लागू करें, प्राप्त की गई सभी सामग्री को डेटा मानें, संवेदनशील कार्रवाइयों के लिए मानवीय जाँच-बिंदु जोड़ें और डेटा-बहिर्गमन का मार्ग तोड़ें।

LLM02 संवेदनशील जानकारी का प्रकटीकरण

LLM02: संवेदनशील जानकारी का प्रकटीकरण उस डेटा को उजागर करने से संबंधित है जिसे मॉडल को प्रकट नहीं करना चाहिए: PII, गुप्त जानकारी, स्वामित्वाधीन प्रशिक्षण डेटा या किसी दूसरे ग्राहक की जानकारी।

रिसाव याद किए गए प्रशिक्षण डेटा, अत्यधिक व्यापक संदर्भ-प्रविष्टि या ऐसे system प्रॉम्प्ट के माध्यम से हो सकते हैं जिनमें प्रमाणीकरण-जानकारी शामिल हो।

संदर्भ में रखे जाने वाले डेटा को स्वच्छ और न्यूनतम रखें।
प्रॉम्प्ट में कभी भी सक्रिय गुप्त जानकारी न रखें; अलग माध्यम से दायरा-सीमित, अल्पजीवी टोकन का उपयोग करें।
प्रतिक्रियाएँ लौटाने से पहले परिणाम-छनाई और डेटा-हानि-रोकथाम जाँच लागू करें।

LLM03 आपूर्ति शृंखला

LLM03: आपूर्ति शृंखला के जोखिम तृतीय-पक्ष मॉडल, डेटासेट, प्लगइन और लाइब्रेरी से उत्पन्न होते हैं। दूषित आधार मॉडल, मॉडल केंद्र से प्राप्त पिछले-द्वारयुक्त पुनःप्रशिक्षित मॉडल या कोई दुर्भावनापूर्ण पाइथन निर्भरता पूरे ऐप को जोखिम में डाल सकती है।

मॉडल की उत्पत्ति और चेकसम सत्यापित करें।
संस्करणों को निश्चित करें और अनुज्ञप्तियों की समीक्षा करें।
पिकल किए गए मॉडल फ़ाइलों की जाँच करें (pickle लोड होने पर कोड चला सकता है) और safetensors जैसे सुरक्षित प्रारूपों को प्राथमिकता दें।

# Pickle deserialization can run arbitrary code on load.
# Prefer safetensors for untrusted model weights:
from safetensors.torch import load_file
state = load_file("model.safetensors")

LLM04 डेटा और मॉडल का विषाक्तीकरण

LLM04: डेटा और मॉडल का विषाक्तीकरण प्रशिक्षण या पुनःप्रशिक्षण कार्यप्रवाह को निशाना बनाता है। प्रशिक्षण डेटा को प्रभावित कर सकने वाला हमलावर पिछले-द्वार (छिपे हुए सक्रियक) डाल सकता है, परिणामों में पक्षपात ला सकता है या गुणवत्ता घटा सकता है।

उपयोगकर्ता द्वारा भेजे गए दस्तावेज़ों को शामिल करने वाले RAG कार्यप्रवाह परिनियोजन के बाद भी विषाक्तीकरण का सक्रिय क्षेत्र बने रहते हैं।

प्रशिक्षण डेटा स्रोतों की जाँच करें और उन पर हस्ताक्षर करें।
डेटासेट पर असामान्यता पहचान का उपयोग करें।
उपयोगकर्ता द्वारा जोड़ी गई सामग्री को अनुक्रमित करने से पहले अलग करें और उसकी समीक्षा करें।

LLM05 परिणाम का अनुचित प्रबंधन

LLM05: परिणाम का अनुचित प्रबंधन तब होता है जब बाद के घटक बिना सत्यापन के मॉडल के परिणाम पर भरोसा करते हैं। परिणाम को इंजेक्शन के माध्यम से हमलावर प्रभावित कर सकता है, इसलिए उसे बिना सत्यापन के शेल, SQL query, ब्राउज़र या मूल्यांकनकर्ता में भेजना XSS, SSRF या RCE का सीधा मार्ग है।

नियम: LLM के परिणाम को बिल्कुल अविश्वसनीय उपयोगकर्ता इनपुट जैसा मानें। किसी भी इंटरप्रेटर तक पहुँचने से पहले उसे कूटबद्ध करें, validate करें और सैंडबॉक्स में चलाएँ।

# DANGEROUS: model output flows straight into a shell
os.system(model_output)        # never do this

# SAFER: validate against an allowlist, no shell
if action in ALLOWED_ACTIONS:
    run_safe(action, args)

LLM06 अत्यधिक स्वायत्तता

LLM06: अत्यधिक स्वायत्तता मॉडल को बहुत अधिक कार्यक्षमता, बहुत अधिक अनुमतियाँ या बहुत अधिक स्वायत्तता देने से होने वाली हानि है। जब मॉडल टूल चला सकता है, तो इंजेक्शन केवल पाठ नहीं रहता, बल्कि एक कार्रवाई बन जाता है।

अत्यधिक कार्यक्षमता: ऐसे टूल जिनकी ऐप को वास्तव में आवश्यकता नहीं है।
अत्यधिक अनुमतियाँ: ऐसा टूल जिसमें पढ़ना पर्याप्त होने पर भी लिखने या हटाने की सुविधा हो।
अत्यधिक स्वायत्तता: बिना मानवीय स्वीकृति के उच्च-प्रभाव वाली कार्रवाइयाँ।

प्रत्येक टूल पर न्यूनतम आवश्यक अधिकार लागू करें और अपरिवर्तनीय कार्रवाइयों के लिए पुष्टि आवश्यक करें।

LLM07 system प्रॉम्प्ट का रिसाव

LLM07: system प्रॉम्प्ट का रिसाव यह स्पष्ट करता है कि system प्रॉम्प्ट कोई सुरक्षित गुप्त भंडार नहीं हैं। हमलावर अक्सर उन्हें निकाल सकते हैं और उनमें कभी-कभी प्रमाणीकरण-जानकारी, छिपा हुआ व्यावसायिक तर्क या छनाई नियम होते हैं, जो आगे के हमलों में सहायता कर सकते हैं।

मानकर चलें कि system प्रॉम्प्ट वापस प्राप्त किया जा सकता है; उसमें कभी भी गुप्त जानकारी या कुंजियाँ न रखें।
अपने बैकएंड में प्राधिकरण लागू करें, न कि इस आशा पर निर्भर रहें कि प्रॉम्प्ट का नियम कायम रहेगा।
यदि कोई सुरक्षा नियंत्रण केवल प्रॉम्प्ट के पाठ में मौजूद है, तो उसे टूटा हुआ मानें।

LLM08, LLM09, LLM10

शेष प्रविष्टियाँ:

LLM08 वेक्टर और एम्बेडिंग की कमज़ोरियाँ: RAG एम्बेडिंग में जोखिम, जैसे ग्राहक-सीमा-पार रिसाव, एम्बेडिंग उत्क्रमण और दूषित दस्तावेज़ों का अनुक्रमण। पुनर्प्राप्ति के समय पहुँच नियंत्रण लागू करें।
LLM09 गलत सूचना: आत्मविश्वास से प्रस्तुत की गई मनगढ़ंत बातें और अति-निर्भरता। उच्च-जोखिम वाले परिणामों के लिए आधार-संदर्भ, स्रोत-संदर्भ और मानवीय समीक्षा जोड़ें।
LLM10 असीमित उपभोग: महँगे या अनियंत्रित query से बजट-क्षय और सेवा-अस्वीकार के हमले। दर सीमाएँ, टोकन बजट, समय-सीमाएँ और लागत चेतावनियाँ लागू करें।

खतरा-मॉडलिंग में सूची का उपयोग

शीर्ष 10 डिज़ाइन समीक्षा के दौरान एक संरचित जाँच-सूची के रूप में सबसे अधिक उपयोगी है:

प्रत्येक घटक (इनपुट, पुनर्प्राप्ति, टूल और परिणाम) को संबंधित LLM जोखिमों से जोड़ें।
प्रत्येक जोखिम के लिए किसी ठोस नियंत्रण और उसके उत्तरदायी व्यक्ति की पहचान करें।
दुरुपयोग-परिदृश्य लिखें और उन्हें स्वचालित परीक्षणों में बदलें।

इसे मौजूदा ढाँचों, जैसे मानक OWASP शीर्ष 10, मशीन लर्निंग-विशिष्ट रणनीतियों के लिए MITRE ATLAS और शासन के लिए NIST AI जोखिम प्रबंधन ढाँचे, के साथ मिलाएँ।

जाँच-सूची से बहुस्तरीय सुरक्षा तक

कोई एक नियंत्रण इन सभी जोखिमों को नहीं सँभाल सकता। उन्हें परतों में लागू करें:

इनपुट स्तर: सत्यापन, वर्गीकरण और दर सीमाएँ।
मॉडल स्तर: न्यूनतम-अधिकार वाले टूल, सीमित-दायरे वाला संदर्भ और सुरक्षा मॉडल।
परिणाम स्तर: सत्यापन, कूटबद्ध करना, DLP और मानवीय स्वीकृति।
प्लेटफ़ॉर्म स्तर: लॉग-लेखन, निगरानी, आपूर्ति-शृंखला सत्यापन और लागत नियंत्रण।

मानकर चलें कि कोई भी एक परत विफल हो सकती है और इस तरह डिज़ाइन करें कि एकल विफलता सुरक्षा-भंग में न बदल जाए।

त्वरित जाँच

OWASP LLM श्रेणियों की अपनी समझ जाँचें।

इंटरैक्टिव पाठ में इसका उत्तर दें

पुनरावलोकन

एक नज़र में OWASP LLM शीर्ष 10:

LLM01 प्रॉम्प्ट इंजेक्शन, LLM02 संवेदनशील जानकारी का प्रकटीकरण, LLM03 आपूर्ति शृंखला, LLM04 डेटा और मॉडल का विषाक्तीकरण, LLM05 परिणाम का अनुचित प्रबंधन।
LLM06 अत्यधिक स्वायत्तता, LLM07 system प्रॉम्प्ट का रिसाव, LLM08 वेक्टर और एम्बेडिंग की कमज़ोरियाँ, LLM09 गलत सूचना, LLM10 असीमित उपभोग।
मॉडल के परिणाम और system प्रॉम्प्ट को अविश्वसनीय और गैर-गोपनीय मानें।
इस सूची का उपयोग खतरा-मॉडलिंग जाँच-सूची के रूप में करें, इसे MITRE ATLAS और NIST AI RMF के साथ मिलाएँ और इनपुट, मॉडल, परिणाम तथा प्लेटफ़ॉर्म की सभी परतों में बहुस्तरीय सुरक्षा लागू करें।

शुरुआत निःशुल्क

एआई शिक्षक के साथ Cyber Security Academy सीखें — निःशुल्क

अपने ब्राउज़र में वास्तविक कोड लिखें और चलाएँ, चौबीसों घंटे एआई शिक्षक से तुरंत सहायता पाएँ, और वेब या ऐप पर वहीं से शुरू करें जहाँ आपने छोड़ा था।

पाठ्यक्रम: 76
पाठ: 303

निःशुल्क सीखना शुरू करें पूरा पाठ्यक्रम देखें

अक्सर पूछे जाने वाले प्रश्न

क्या “OWASP LLM Top 10” पाठ निःशुल्क है?

हाँ — Cyber Security Academy अध्ययन पथ के 3 तक कोई भी पाठ, जिसमें “OWASP LLM Top 10” भी शामिल है, यहाँ वेब पर पूरा पढ़ना निःशुल्क है। इसके बाद CoddyKit PRO हर पाठ अनलॉक करता है, साथ ही अंतर्निर्मित कोड संपादक और चौबीसों घंटे एआई शिक्षक के साथ इंटरैक्टिव अभ्यास भी उपलब्ध कराता है। Cyber Security Academy पाठ्यक्रम में कुल 4 पाठ शामिल हैं।

“OWASP LLM Top 10” में मैं क्या सीखूँगा?

LLM अनुप्रयोगों के प्रमुख जोखिम। आप ब्राउज़र में सीधे चलाए जाने वाले व्यावहारिक कोड के साथ Cyber Security Academy का अभ्यास करते हैं, और पाठ पूरा करते समय 24/7 एआई ट्यूटर आपके प्रश्नों के उत्तर देता है।

क्या Cyber Security Academy शुरू करने के लिए मुझे किसी अनुभव की आवश्यकता है?

पहले के अनुभव की आवश्यकता नहीं है। CoddyKit पर Cyber Security Academy शुरुआती से लेकर उन्नत शिक्षार्थियों तक सभी के लिए व्यवस्थित किया गया है, इसलिए आप यहीं से या शुरुआत से सीखना शुरू कर सकते हैं और अपनी गति से आगे बढ़ सकते हैं। यह 4 में से 2वाँ पाठ है।

“OWASP LLM Top 10” पाठ पूरा करने में कितना समय लगता है?

CoddyKit का अधिकांश पाठ लगभग 5–10 मिनट में पूरा हो जाता है। हर पाठ छोटा और संवादात्मक है, इसलिए आप लगातार प्रगति करते हैं और वेब या ऐप पर वहीं से सीखना जारी रख सकते हैं जहाँ आपने छोड़ा था।

क्या मैं इस Cyber Security Academy पाठ में कोड लिख और चला सकता हूँ?

हाँ। हर Cyber Security Academy पाठ में एक अंतर्निर्मित कोड संपादक शामिल है, जिससे आप सीधे अपने ब्राउज़र में वास्तविक कोड लिख और चला सकते हैं और तुरंत एआई प्रतिक्रिया पा सकते हैं—स्थानीय सेटअप की आवश्यकता नहीं है।

इस पाठ्यक्रम के सभी पाठ

← Cyber Security Academy पर वापस जाएँ