قائمة OWASP لأهم 10 مخاطر في LLM
المخاطر الرئيسية لتطبيقات LLM.
قائمة OWASP لأهم 10 مخاطر في LLM درس مجاني في Cyber Security Academy على CoddyKit. هذا هو الدرس 2 من أصل 4. يمكنك قراءة الدرس كاملاً أدناه مجاناً — ثم تمرن عليه مباشرة في المتصفح باستخدام محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7. هذا الدرس جزء من مسار التعلم في Cyber Security Academy، وتقدمك يتزامن عبر الويب وتطبيق CoddyKit. تتضمن دورة Cyber Security Academy 4 دروس في المجموع.
لماذا قائمة أفضل 10 مخاطر لـ LLM؟
تُعد قائمة OWASP لأفضل 10 مخاطر في تطبيقات نماذج اللغة الكبيرة قائمةً أعدّها المجتمع بأهم مخاطر الأمان الخاصة بالأنظمة المبنية على LLM. وهي تحاكي قائمة OWASP الشهيرة لأفضل 10 مخاطر في الويب، لكنها تتناول تهديدات لا تشملها قوائم أمان التطبيقات التقليدية.
وُجدت هذه القائمة لأن تطبيقات LLM تقدم سطح هجوم جديداً، يشمل تدفق التحكم باللغة الطبيعية، والمخرجات غير الحتمية، وسلاسل توريد النماذج، والوكلاء المستقلين. وتمنح القائمة فرق الأمان مفردات مشتركة وقائمة تحقق لنمذجة التهديدات.
تستخدم الرموز أدناه ترقيم LLM01-LLM10 الوارد في إصدار 2025.
LLM01 حقن المطالبات
LLM01: حقن المطالبات هو الخطر المصنّف باستمرار في المرتبة الأولى. إذ يتجاوز النص الذي يتحكم فيه المهاجم تعليمات المطوّر، لأن النموذج لا يستطيع الفصل بين التعليمات الموثوقة والبيانات غير الموثوقة.
- مباشر: يكتب المستخدم تعليمات تتجاوز التعليمات الأصلية.
- غير مباشر: تختبئ التعليمات في صفحات الويب أو الملفات المسترجعة أو مخرجات الأدوات.
تشمل إجراءات التخفيف فرض مبدأ أقلّ الصلاحيات على الأدوات، والتعامل مع كل المحتوى المسترجع باعتباره بيانات، وإضافة نقاط تحقق بشرية للإجراءات الحساسة، وقطع مسار استخراج البيانات.
LLM02 كشف المعلومات الحساسة
LLM02: كشف المعلومات الحساسة يشمل كشف النموذج لبيانات لا ينبغي له كشفها، مثل معلومات التعريف الشخصية (PII)، والأسرار، وبيانات التدريب الخاصة، أو معلومات مستأجر آخر.
تحدث التسريبات من خلال بيانات التدريب المحفوظة، أو حقن سياق واسع الصلاحيات، أو مطالبات نظام تتضمن بيانات اعتماد.
- نقّوا البيانات الموضوعة في السياق وقلّلوا منها إلى الحد الأدنى.
- لا تضعوا أسرارًا حيّة في المطالبات مطلقًا؛ استخدموا رموزًا محددة النطاق وقصيرة العمر خارج القناة.
- طبّقوا تصفية المخرجات وفحوصات منع فقدان البيانات قبل إرجاع الاستجابات.
LLM03 سلسلة التوريد
LLM03: سلسلة التوريد تنشأ مخاطرها من النماذج ومجموعات البيانات والإضافات والمكتبات التابعة لجهات خارجية. فقد يؤدي نموذج أساسي مسموم، أو ضبط دقيق يتضمن بابًا خلفيًا من مستودع نماذج، أو تبعية Python خبيثة إلى اختراق التطبيق بأكمله.
- تحققوا من مصدر النموذج وقيم التحقق الخاصة به.
- ثبّتوا الإصدارات وراجعوا التراخيص.
- افحصوا ملفات النماذج المحفوظة بصيغة pickle (يمكن لـ
pickleتنفيذ التعليمات البرمجية عند التحميل)، وفضّلوا التنسيقات الآمنة مثلsafetensors.
# Pickle deserialization can run arbitrary code on load.
# Prefer safetensors for untrusted model weights:
from safetensors.torch import load_file
state = load_file("model.safetensors")LLM04 تسميم البيانات والنموذج
LLM04: تسميم البيانات والنموذج يستهدف مسار التدريب أو الضبط الدقيق. يستطيع المهاجم الذي يؤثر في بيانات التدريب زرع أبواب خلفية (مُحفّزات مخفية)، أو تحييز المخرجات، أو تقليل الجودة.
تظل مسارات RAG التي تستوعب مستندات يرسلها المستخدمون سطحًا حيًا للتسميم حتى بعد النشر.
- تحققوا من مصادر بيانات التدريب ووقّعوها.
- استخدموا اكتشاف الحالات الشاذة في مجموعات البيانات.
- اعزلوا المحتوى الذي يساهم به المستخدمون وراجعوه قبل فهرسته.
LLM05 معالجة المخرجات غير السليمة
LLM05: معالجة المخرجات غير السليمة تحدث عندما تثق المكونات اللاحقة في مخرجات النموذج من دون التحقق منها. وبما أن المخرجات قابلة للتأثير فيها من خلال الحقن، فإن تمريرها من دون تحقق إلى shell أو استعلام SQL أو متصفح أو eval يمثّل مسارًا مباشرًا إلى XSS أو SSRF أو RCE.
القاعدة: تعاملوا مع مخرجات LLM تمامًا كما تتعاملون مع مدخلات المستخدم غير الموثوقة. شفّروها، وتحققوا منها، واعزلوها قبل أن تصل إلى أي مفسّر.
# DANGEROUS: model output flows straight into a shell
os.system(model_output) # never do this
# SAFER: validate against an allowlist, no shell
if action in ALLOWED_ACTIONS:
run_safe(action, args)LLM06 الوكالة المفرطة
LLM06: الوكالة المفرطة هي الأضرار الناتجة عن منح النموذج وظائف كثيرة جدًا، أو صلاحيات مفرطة، أو استقلالية زائدة. فعندما يستطيع النموذج استدعاء الأدوات، يتحول الحقن إلى إجراء، وليس مجرد نص.
- وظائف مفرطة: أدوات لا يحتاج إليها التطبيق فعليًا.
- صلاحيات مفرطة: أداة تتضمن الكتابة/الحذف بينما تكفي صلاحية القراءة.
- استقلالية مفرطة: إجراءات عالية التأثير من دون موافقة بشرية.
طبّقوا مبدأ أقلّ الصلاحيات لكل أداة، واشترطوا التأكيد على العمليات غير القابلة للعكس.
LLM07 تسرّب مطالبة النظام
LLM07: تسرّب مطالبة النظام يوضّح أن مطالبات النظام ليست مخزنًا آمنًا للأسرار. إذ يستطيع المهاجمون غالبًا استخراجها، وقد تتضمن أحيانًا بيانات اعتماد أو منطقًا تجاريًا مخفيًا أو قواعد تصفية تساعد على شن هجمات أخرى.
- افترضوا إمكانية استعادة مطالبة النظام؛ ولا تضعوا الأسرار أو المفاتيح فيها مطلقًا.
- افرضوا التفويض في الواجهة الخلفية لديكم، بدلًا من الأمل في التزام النموذج بقاعدة واردة في المطالبة.
- اعتبروا أي إجراء أمني معطّلًا إذا كان موجودًا في نص المطالبة فقط.
LLM08 وLLM09 وLLM10
العناصر المتبقية:
- LLM08 نقاط ضعف المتجهات والتضمينات: مخاطر في تضمينات RAG، مثل تسرب البيانات بين المستأجرين، وعكس التضمينات، وفهرسة المستندات المسمومة. افرضوا التحكم في الوصول وقت الاسترجاع.
- LLM09 المعلومات المضللة: هلوسات واثقة واعتماد مفرط على النموذج. أضيفوا الاستناد إلى مصادر موثوقة والاستشهادات والمراجعة البشرية للمخرجات عالية التأثير.
- LLM10 الاستهلاك غير المقيّد: هجمات حجب الخدمة وحجب الميزانية الناتجة عن الاستعلامات المكلفة أو التي لا تتوقف. طبّقوا حدود المعدل، وميزانيات الرموز، والمهل الزمنية، وتنبيهات التكلفة.
استخدام القائمة في نمذجة التهديدات
تكون قائمة أفضل 10 عناصر مفيدة بأكبر قدر باعتبارها قائمة تحقق منظّمة أثناء مراجعة التصميم:
- اربطوا كل مكوّن (الإدخال والاسترجاع والأدوات والمخرجات) بمخاطر LLM ذات الصلة.
- حدّدوا لكل خطر إجراءً رقابيًا ملموسًا ومالكًا مسؤولًا عنه.
- اكتبوا حالات إساءة الاستخدام وحوّلوها إلى اختبارات آلية.
اجمعوا هذه القائمة مع أطر العمل الحالية، مثل OWASP Top 10 القياسي، وMITRE ATLAS للتكتيكات الخاصة بتعلّم الآلة، وNIST AI Risk Management Framework للحوكمة.
من قائمة التحقق إلى الدفاع متعدد الطبقات
لا يغطي أي إجراء رقابي منفرد هذه المخاطر. لذا اجمعوا بينها في طبقات:
- طبقة الإدخال: التحقق، والتصنيف، وحدود المعدل.
- طبقة النموذج: أدوات بأقلّ الصلاحيات، وسياق محدد النطاق، ونماذج للحماية.
- طبقة المخرجات: التحقق، والترميز، ومنع فقدان البيانات، والموافقة البشرية.
- طبقة المنصة: التسجيل، والمراقبة، والتحقق من سلسلة التوريد، وضوابط التكلفة.
افترضوا إمكانية فشل أي طبقة، وصمّموا النظام بحيث لا يؤدي فشل واحد إلى اختراق.
تحقق سريع
اختبروا مدى استيعابكم لفئات OWASP الخاصة بـ LLM.
مراجعة
نظرة سريعة على OWASP LLM Top 10:
- LLM01 حقن المطالبات، وLLM02 كشف المعلومات الحساسة، وLLM03 سلسلة التوريد، وLLM04 تسميم البيانات والنموذج، وLLM05 معالجة المخرجات غير السليمة.
- LLM06 الوكالة المفرطة، وLLM07 تسرّب مطالبة النظام، وLLM08 نقاط ضعف المتجهات والتضمينات، وLLM09 المعلومات المضللة، وLLM10 الاستهلاك غير المقيّد.
- تعاملوا مع مخرجات النموذج ومطالبة النظام باعتبارهما غير موثوقين وغير سريين.
- استخدموا القائمة كقائمة تحقق لنمذجة التهديدات، واجمعوها مع MITRE ATLAS وNIST AI RMF، وطبّقوا دفاعًا متعدد الطبقات عبر طبقات الإدخال والنموذج والمخرجات والمنصة.
الأسئلة الشائعة
هل درس «قائمة OWASP لأهم 10 مخاطر في LLM» مجاني؟
نعم — نص درس «قائمة OWASP لأهم 10 مخاطر في LLM» كامل متاح مجاناً هنا على الويب. لتمرينه بشكل تفاعلي (محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7) وفتح باقي دورة Cyber Security Academy، انتقل إلى CoddyKit PRO. تتضمن دورة Cyber Security Academy 4 دروس في المجموع.
ماذا ستتعلم في «قائمة OWASP لأهم 10 مخاطر في LLM»؟
المخاطر الرئيسية لتطبيقات LLM. تتمرن على Cyber Security Academy مع أكواد عملية تشغلها مباشرة في المتصفح، ومدرس ذكاء اصطناعي متاح 24/7 يجيب على أسئلتك أثناء عملك.
هل أحتاج إلى خبرة سابقة لأبدأ Cyber Security Academy؟
لا تُشترط خبرة سابقة. Cyber Security Academy على CoddyKit منظم للمبتدئين حتى المتقدمين، لذا يمكنك البدء من هنا أو من البداية والتقدم بسرعتك الخاصة. هذا هو الدرس 2 من أصل 4.
كم من الوقت يستغرق درس «قائمة OWASP لأهم 10 مخاطر في LLM»؟
معظم دروس CoddyKit تستغرق حوالي 5–10 دقائق. كل منها موجز وتفاعلي، لذا تحرز تقدماً مستمراً وتستأنف من حيث توقفت عبر الويب والتطبيق.
هل يمكنني كتابة وتشغيل أكواد في درس Cyber Security Academy هذا؟
نعم. كل درس في Cyber Security Academy يتضمن محرر أكواد مدمج، لذا تكتب وتشغل أكواداً حقيقية مباشرة في متصفحك وتحصل على تعليقات فورية من الذكاء الاصطناعي — بدون إعداد محلي.
جميع الدروس في هذه الدورة
- حقن التلقينات وعمليات كسر القيود
- قائمة OWASP لأهم 10 مخاطر في LLM
- تأمين وكلاء الذكاء الاصطناعي واستخدام الأدوات
- مخاطر النماذج والبيانات وسلسلة التوريد