تأمين وكلاء الذكاء الاصطناعي واستخدام الأدوات
تقييد إجراءات الوكلاء المستقلة.
تأمين وكلاء الذكاء الاصطناعي واستخدام الأدوات درس مجاني في Cyber Security Academy على CoddyKit. هذا هو الدرس 3 من أصل 4. يمكنك قراءة الدرس كاملاً أدناه مجاناً — ثم تمرن عليه مباشرة في المتصفح باستخدام محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7. هذا الدرس جزء من مسار التعلم في Cyber Security Academy، وتقدمك يتزامن عبر الويب وتطبيق CoddyKit. تتضمن دورة Cyber Security Academy 4 دروس في المجموع.
ما الذي يجعل الوكلاء محفوفين بالمخاطر
وكيل الذكاء الاصطناعي هو LLM موصول بـأدوات وحلقة تشغيل: فهو يستدلّ، ويستدعي الدوال (للبحث وتنفيذ التعليمات البرمجية وواجهات API والوصول إلى الملفات)، ويراقب النتائج، ويكرر ذلك حتى تحقيق الهدف. هذه الاستقلالية قوية وخطيرة في الوقت نفسه.
يتمثل التحول الأمني الأساسي في الآتي: مع روبوت محادثة عادي، تكون المخرجات السيئة مجرد نص. أما مع الوكيل، فيتحول القرار السيئ إلى إجراء حقيقي: سجل محذوف، أو رسالة بريد إلكتروني مرسلة، أو دولار منفق، أو سرّ مسرّب.
نظرًا إلى إمكانية دخول محتوى غير موثوق إلى حلقة الاستدلال، فإن كل أداة يمتلكها الوكيل تمثّل سطح هجوم لحقن المطالبات.
مبدأ أقلّ الصلاحيات للأدوات
أهم إجراء رقابي منفرد هو مبدأ أقلّ الصلاحيات. امنحوا كل أداة أضيق نطاق لا يزال يتيح لها إنجاز المهمة.
- فضّلوا القراءة فقط على القراءة والكتابة؛ وقيّدوا عمليات القراءة ببيانات المستخدم الحالي.
- قسّموا الأدوات الواسعة إلى أدوات ضيقة النطاق (أداة
get_invoice، وليس أداة SQL خام). - اربطوا بيانات اعتماد الأدوات بـهوية المستخدم النهائي، وليس بحساب خدمة مشترك، حتى يرث الوكيل فقط الصلاحيات المسموح بها للمستخدم.
# Scope queries to the authenticated user, never raw SQL
def get_invoice(invoice_id: str, *, user_id: str):
return db.query(
"SELECT * FROM invoices WHERE id=%s AND owner=%s",
(invoice_id, user_id),
)نقاط التحقق البشرية أثناء التشغيل
بالنسبة إلى الإجراءات عالية التأثير أو غير القابلة للعكس، اشترطوا موافقة بشرية صريحة قبل التنفيذ. يقترح الوكيل، ويؤكد الإنسان.
- إرسال رسائل بريد إلكتروني أو رسائل خارجية.
- المعاملات أو عمليات الشراء المالية.
- حذف البيانات أو الكتابة فوقها.
- نشر التعليمات البرمجية أو تغيير البنية التحتية.
اعرضوا على المستخدم الإجراء الدقيق ومعطياته بلغة واضحة، حتى يتمكن من اكتشاف أمر محقون أو هلوسي قبل تشغيله.
عزل التعليمات البرمجية والأوامر
يجب على الوكلاء الذين يشغّلون التعليمات البرمجية أو أوامر shell تنفيذها داخل بيئة معزولة، وليس على المضيف مطلقًا.
- استخدموا حاويات مؤقتة أو microVMs من دون عمليات ربط بالمضيف.
- عطّلوا الوصول إلى الشبكة افتراضيًا، ولا تسمحوا إلا بقائمة صريحة للاتصالات الصادرة المسموح بها.
- حدّدوا حدودًا لوحدة المعالجة المركزية والذاكرة والوقت لاحتواء التعليمات البرمجية الخارجة عن السيطرة أو الخبيثة.
- شغّلوا النظام كمستخدم غير root وغير متمتع بامتيازات، مع نظام ملفات جذري للقراءة فقط.
docker run --rm \
--network none \
--read-only \
--user 1000:1000 \
--memory 256m --cpus 0.5 \
--pids-limit 64 \
agent-sandbox:latest python /work/task.pyكسر الثلاثية الفتّاكة
يتحول الوكيل إلى أداة لاستخراج البيانات عندما يمتلك في الوقت نفسه إمكانية الوصول إلى بيانات خاصة، ويتعرض لـمحتوى غير موثوق، ويستطيع التواصل خارجيًا. وهذا هو جوهر الثلاثية الفتّاكة.
صمّموا النظام لإزالة ضلع واحد على الأقل في أي مسار عمل محدد:
- اعزلوا الجلسات التي تتعامل مع محتوى غير موثوق عن الجلسات التي تحتوي على بيانات حساسة.
- قيّدوا الاتصالات الصادرة عبر الشبكة بقائمة صارمة من الوجهات المسموح بها.
- اشترطوا الموافقة قبل أي إرسال خارجي عندما تكون بيانات خاصة موجودة في السياق.
مخرجات الأدوات غير الموثوقة
تعود نتائج الأدوات إلى سياق النموذج، ولذلك فإن مخرجات الأدوات هي مدخلات غير موثوقة. فقد تحتوي صفحة ويب، أو ملف مسترجع، أو استجابة من واجهة API على تعليمات محقونة تستهدف خطوة الاستدلال التالية.
- أحيطوا مخرجات الأدوات بفواصل واضحة ووسموها باعتبارها بيانات، لا أوامر.
- أزيلوا النص المخفي أو حيّدوه (تعليقات HTML، والمحارف عديمة العرض، وCSS خارج الشاشة).
- حدّدوا حجم المحتوى المحقون للحد من المساحة المتاحة للحمولة.
لا تسمحوا مطلقًا لمخرجات الأدوات الخام بأن تُملي بصمت استدعاء الأداة التالية من دون فحوصات للسياسات.
قوائم السماح بالإجراءات وفرض السياسات
لا تعتمدوا على النموذج لفرض الرقابة على نفسه. افرضوا طبقة سياسات في التعليمات البرمجية بين الوكيل وكل أداة.
- تحققوا من كل استدعاء أداة مقابل قائمة سماح بالإجراءات المسموح بها وبُنى المعطيات.
- ارفضوا الاستدعاءات التي تتجاوز نطاق المهمة الحالية.
- طبّقوا حدود معدل وميزانيات لكل أداة ولكل مستخدم.
تعمل هذه البوابة الحتمية بغض النظر عما يقرره النموذج، ولذلك فإن نجاح الحقن سيصطدم رغم ذلك بحاجز صلب.
def authorize(call):
if call.name not in ALLOWED_TOOLS:
raise PolicyError("tool not allowed")
if not SCHEMA[call.name].validate(call.args):
raise PolicyError("bad arguments")
if exceeds_budget(call):
raise PolicyError("rate limit")تقييد الحلقة
قد تخرج الحلقات المستقلة عن السيطرة: محاولات إعادة لا نهائية، واستدعاءات أدوات متكررة، وإنفاق منفلت (حجب الميزانية). لذلك قيّدوا هذه الحلقات.
- حدّدوا الحد الأقصى لعدد الخطوات وإجمالي الرموز لكل مهمة.
- حدّدوا مهلات زمنية فعلية للتشغيل بأكمله.
- تتبّعوا التكلفة التراكمية وأوقفوا التشغيل عند تجاوز العتبة.
- اكتشفوا الحلقات (الاستدعاءات المتطابقة المتكررة) واخرجوا منها.
تحدّ هذه الحدود أيضًا من هجمات حجب الخدمة وهجمات الاستهلاك غير المقيّد (OWASP LLM10).
مخاطر الذاكرة والوكلاء المتعددين
تضيف ذاكرة الوكيل المستمرة وأنظمة الوكلاء المتعددين أسطح هجوم جديدة:
- تسميم الذاكرة: يؤثر حقن يُكتب في الذاكرة طويلة الأمد خلال جلسة واحدة في الجلسات اللاحقة. تحققوا مما يتم حفظه وحددوا نطاقه.
- الثقة بين الوكلاء: يستطيع وكيل مخترق حقن تعليمات في وكيل آخر. تعاملوا مع الرسائل بين الوكلاء باعتبارها غير موثوقة.
- النائب المربك: وكيل متمتع بامتيازات ينفذ طلب وكيل ذي مستوى ثقة أقل. انقلوا تفويض صاحب الطلب الأصلي عبر السلسلة.
التسجيل وقابلية المراقبة
لا يمكنكم تأمين ما لا تستطيعون رؤيته. أضيفوا أدوات رصد إلى تتبع الوكيل بالكامل:
- سجّلوا كل استدعاء أداة ومعطياته ونتيجته.
- سجّلوا سياق الاستدلال وأي محتوى مسترجع لأغراض التحليل الجنائي.
- أطلقوا تنبيهات عند اكتشاف حالات شاذة: اتصالات صادرة غير متوقعة، أو استخدام للصلاحيات، أو حالات رفض متكررة، أو ارتفاعات مفاجئة في التكلفة.
- احتفظوا بسجل تدقيق غير قابل للتغيير مرتبط بالمستخدم الذي نفّذ الإجراء.
تحوّل القياسات الجيدة الاختراق الصامت إلى حادثة قابلة للاكتشاف والتحقيق.
بنية متعددة الطبقات للوكلاء
عند جمع هذه العناصر، تبدو حزمة الوكيل القابلة للدفاع عنها كما يلي:
- الهوية: تُنفّذ الإجراءات بصفة المستخدم النهائي وبنطاقات أقلّ الصلاحيات.
- بوابة السياسات: قائمة سماح حتمية والتحقق من المخطط لكل استدعاء أداة.
- بيئة العزل: تنفيذ معزول بشبكة وموارد مقيّدة.
- نقاط التحقق البشرية: موافقة على الإجراءات غير القابلة للعكس.
- الحدود: ميزانيات للخطوات والرموز والوقت والتكلفة.
- قابلية المراقبة: تسجيل كامل للتدقيق وتنبيهات الحالات الشاذة.
افترضوا إمكانية اختطاف النموذج؛ وتأكدوا من أن نطاق الضرر يظل محدودًا عند حدوث ذلك.
فحص سريع
اختبروا مدى فهمكم لضوابط أمان الوكلاء.
مراجعة
تأمين وكلاء الذكاء الاصطناعي واستخدام الأدوات:
- يحوّل الوكلاء المخرجات السيئة إلى إجراءات فعلية، لذا تمثل كل أداة سطح هجوم.
- طبّقوا أقل قدر من الامتيازات لكل أداة، واربطوا بيانات الاعتماد بالمستخدم النهائي.
- اشترطوا موافقة بشرية على الإجراءات غير القابلة للعكس، ونفّذوا الشيفرة في بيئة معزولة.
- اكسروا الثالوث الفتّاك، وعاملوا مخرجات الأدوات بوصفها مدخلات غير موثوقة.
- فرِضوا بوابة سياسات حتمية (قوائم السماح والتحقق من المخطط) في الشيفرة، لا في الموجّه.
- ضعوا حدودًا للحلقة (الخطوات والرموز والوقت والتكلفة)، وسجّلوا كل استدعاء لأداة لأغراض الكشف.
تعلم Cyber Security Academy مع معلم ذكاء اصطناعي — مجانًا
اكتب وقم بتشغيل أكوادك الفعلية في المتصفح، واحصل على مساعدة فورية من معلم ذكاء اصطناعي متاح 24/7، واستمر من حيث توقفت على الويب أو في التطبيق.
- الدورات
- 76
- الدروس
- 303
الأسئلة الشائعة
هل درس «تأمين وكلاء الذكاء الاصطناعي واستخدام الأدوات» مجاني؟
نعم — نص درس «تأمين وكلاء الذكاء الاصطناعي واستخدام الأدوات» كامل متاح مجاناً هنا على الويب. لتمرينه بشكل تفاعلي (محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7) وفتح باقي دورة Cyber Security Academy، انتقل إلى CoddyKit PRO. تتضمن دورة Cyber Security Academy 4 دروس في المجموع.
ماذا ستتعلم في «تأمين وكلاء الذكاء الاصطناعي واستخدام الأدوات»؟
تقييد إجراءات الوكلاء المستقلة. تتمرن على Cyber Security Academy مع أكواد عملية تشغلها مباشرة في المتصفح، ومدرس ذكاء اصطناعي متاح 24/7 يجيب على أسئلتك أثناء عملك.
هل أحتاج إلى خبرة سابقة لأبدأ Cyber Security Academy؟
لا تُشترط خبرة سابقة. Cyber Security Academy على CoddyKit منظم للمبتدئين حتى المتقدمين، لذا يمكنك البدء من هنا أو من البداية والتقدم بسرعتك الخاصة. هذا هو الدرس 3 من أصل 4.
كم من الوقت يستغرق درس «تأمين وكلاء الذكاء الاصطناعي واستخدام الأدوات»؟
معظم دروس CoddyKit تستغرق حوالي 5–10 دقائق. كل منها موجز وتفاعلي، لذا تحرز تقدماً مستمراً وتستأنف من حيث توقفت عبر الويب والتطبيق.
هل يمكنني كتابة وتشغيل أكواد في درس Cyber Security Academy هذا؟
نعم. كل درس في Cyber Security Academy يتضمن محرر أكواد مدمج، لذا تكتب وتشغل أكواداً حقيقية مباشرة في متصفحك وتحصل على تعليقات فورية من الذكاء الاصطناعي — بدون إعداد محلي.
جميع الدروس في هذه الدورة
- حقن التلقينات وعمليات كسر القيود
- قائمة OWASP لأهم 10 مخاطر في LLM
- تأمين وكلاء الذكاء الاصطناعي واستخدام الأدوات
- مخاطر النماذج والبيانات وسلسلة التوريد