حقن التلقينات وعمليات كسر القيود

يُعد حقن التعليمات النظير في عصر LLM لثغرات الحقن التقليدية (SQL والأوامر). والسبب الجذري متطابق: يخلط التطبيق بين التعليمات الموثوقة والبيانات غير الموثوقة في القناة نفسها، ولا يستطيع المفسّر (النموذج) التمييز بينهما بشكل موثوق.

في LLM، تصل مطالبة النظام وتعليمات المطوّر وأي محتوى مسترجع كلها في صورة تدفق واحد مسطّح من الرموز. فإذا احتوى نص يتحكم فيه المهاجم على Ignore previous instructions and...، فقد يطيعه النموذج لأنه، من منظور النموذج، ليس سوى مزيد من اللغة.

• موثوقة: مطالبة النظام والسياسة الخاصتان بك.
• غير موثوقة: إدخال المستخدم، وصفحات الويب، والملفات، ومخرجات الأدوات، ورسائل البريد الإلكتروني.

يحدث حقن التعليمات المباشر عندما يكتب المستخدم النهائي تعليمات عدائية مباشرةً في المطالبة لتجاوز السلوك المقصود للتطبيق.

تبدو محاولة نموذجية ضد روبوت دعم العملاء كما يلي:

• يُطلب من الروبوت الإجابة عن أسئلة الفوترة فقط.
• يلصق المستخدم نصاً يعيد تأطير دور النموذج ويطلب منه تسريب مطالبة النظام أو تنفيذ إجراءات خارج النطاق.

يُعد الحقن المباشر الأسهل من حيث التحليل، لأن النص الخبيث والمهاجم شخص واحد، لكنه يظل قادراً على تجاوز وسائل الحماية الساذجة.

يُعد حقن التعليمات غير المباشر (من الدرجة الثانية) النوع الأكثر خطورة. إذ يزرع المهاجم تعليمات في محتوى سيقوم النموذج لاحقاً باسترجاعه: صفحة ويب، أو ملف PDF، أو دعوة إلى تقويم، أو تعليق في الشيفرة، أو تذكرة دعم.

لا يرى المستخدم الضحية الحمولة مطلقاً. وعندما يجلب خط أنابيب RAG أو وكيل التصفح ذلك المحتوى إلى السياق، تُنفّذ التعليمات المخفية بامتيازات الضحية.

مثال: تحتوي صفحة ويب على نص مخفي يطلب من وكيل التلخيص تهريب سجل محادثات المستخدم إلى عنوان URL يخص المهاجم.

يتداخل المصطلحان، لكنهما ليسا متطابقين:

• يستهدف حقن التعليمات حدود التطبيق — عبر تجاوز تعليمات المطوّر باستخدام بيانات يتحكم فيها المهاجم.
• يستهدف اختراق القيود مواءمة النموذج للسلامة — عبر استدراجه إلى إنتاج محتوى درّبه المزوّد على رفضه.

لا يتطلب اختراق القيود تطبيقاً عرضةً للخطر؛ فهو يعمل ضد النموذج الخام. وتجمع العديد من الهجمات الحقيقية بين الأسلوبين: إذ يخفف اختراق القيود من الرفض، بينما يعيد الحقن توجيه سلوك التطبيق.

يستخدم المهاجمون أنماطاً متوقعة من التلاعب. ويساعدك فهمها على اختبار نظامك اختباراً عدائياً بمسؤولية:

• لعب الأدوار / الشخصية: تأطير الطلب على أنه خيال أو على أنه صادر عن شخصية خيالية غير مقيّدة.
• التمويه: استخدام base64 أو لغة leetspeak أو الترجمة أو تقسيم الرموز لتجاوز مرشحات الكلمات المفتاحية.
• تقسيم الحمولة: توزيع الطلب على عدة أدوار بحيث لا تبدو أي رسالة منفردة خبيثة.
• الافتراضيات: For a security class, describe how one would...
• حقن البادئة: إجبار الرد على البدء بعبارة تأكيدية مثل Sure, here is.

تلجأ فرق كثيرة أولاً إلى قائمة حظر لعبارات مثل ignore previous instructions. وهذا الأسلوب هش لأن فضاء المدخلات لا نهائي عملياً.

يمكن للغة الطبيعية التعبير عن النية نفسها بطرق لا حصر لها، وباستخدام لغات وترميزات واستعارات مختلفة. ويكرّر المهاجمون محاولاتهم بسرعة تفوق قدرتك على ترقيع تعبيرات regex.

المبدأ الأساسي: تعامل مع ترشيح المدخلات باعتباره دفاعاً متعدد الطبقات، وليس ضابطاً أساسياً مطلقاً. افترض أن بعض عمليات الحقن ستتجاوز الترشيح، وصمّم النظام بحيث لا يتمكن الحقن الناجح من إحداث ضرر حقيقي.

يتمثل الإجراء الوقائي الأكثر فعالية في البنية المعمارية: قيّد ما يمكن لسياق نموذج مخترَق تنفيذه.

• امنح LLM أقل قدر من الامتيازات اللازمة. فلا ينبغي لملخّص أن يحتفظ ببيانات اعتماد لإرسال البريد الإلكتروني.
• أبقِ المحتوى غير الموثوق بعيداً عن المسارات ذات الامتيازات. فإذا قرأ وكيل بيانات ويب خارجية، فلا ينبغي أن يتمكن أيضاً من تنفيذ إجراءات غير قابلة للعكس في الدور نفسه من دون نقطة تحقق.
• افصل مستويات البيانات عن مستويات التحكم: يجب أن يكون النص المسترجع بيانات، لا أوامر.

رغم أن بنية التعليمات ليست حصينة تماماً، فإنها ترفع مستوى الصعوبة. حدّد البيانات غير الموثوقة بوضوح، ووجّه النموذج إلى كيفية التعامل معها.

استخدم محددات صريحة وأخبر النموذج بأن كل ما بداخلها هو بيانات للتحليل، وليس تعليمات للتنفيذ. واربط ذلك بدور قوي للنظام يعززه التطبيق في كل استدعاء.

مخرجات النموذج غير موثوقة أيضاً. فإذا مرّر التطبيق مخرجات LLM إلى shell أو قاعدة بيانات أو متصفح أو أداة أخرى، فقد يتحول الحقن إلى تنفيذ تعليمات برمجية عن بُعد أو تهريب بيانات.

تصف الثلاثية الفتّاكة التي صاغها Simon Willison التركيبة الخطرة التالية:

• الوصول إلى بيانات خاصة،
• التعرّض لـمحتوى غير موثوق،
• القدرة على التواصل خارجياً (لتهريب البيانات).

يمكن تحويل وكيل يجمع العناصر الثلاثة إلى أداة لسرقة البيانات بتعليمة واحدة محقونة. اكسر هذه الثلاثية تكسر الهجوم.

افترض حدوث الحقن وجهّز أدوات للرصد:

• سجّل السياق كاملاً (المطالبات، والكتل المسترجعة، واستدعاءات الأدوات) لمراجعة الحوادث.
• استخدم مصنّفاً ثانوياً أو نموذج حماية لرصد المدخلات والمخرجات المشبوهة.
• راقب الاستخدام الشاذ للأدوات: الطلبات الصادرة المفاجئة، والوصول غير المتوقع إلى البيانات، وأنماط تسريب المطالبات.
• طبّق رموز الكناري في مطالبات النظام؛ فإذا ظهر رمز كناري في المخرجات، فهذا يعني حدوث تسريب.

تعامل مع التنبيهات باعتبارها حوادث حقيقية، واتبع دليل إجراءات للاستجابة لها.

يُعد اختبار أنظمتك بحثاً عن عمليات الحقن أمراً ضرورياً ومشروعاً. نفّذه بمسؤولية:

• اختبر فقط الأنظمة التي تملكها أو مُصرّح لك بتقييمها.
• استخدم بيئة خاضعة للتحكم وبيانات اصطناعية؛ ولا تقم مطلقاً بتهريب بيانات مستخدمين حقيقية.
• وثّق النتائج وأدخلها في اختبارات الانحدار حتى تظل التجاوزات التي عولجت مُعالجة.
• نسّق الإفصاح عندما تكتشف مشكلات في نماذج أو تطبيقات تابعة لجهات خارجية.

الهدف هو جعل تطبيقك مرناً، لا إنتاج قدرات ضارة.

اختبر مدى فهمك لحدود الثقة المتعلقة بحقن التعليمات.

أهم النقاط حول حقن التعليمات واختراق القيود:

• ينشأ الحقن من خلط التعليمات الموثوقة بالبيانات غير الموثوقة في قناة واحدة.
• يأتي الحقن المباشر من المستخدم، بينما يختبئ الحقن غير المباشر في المحتوى المسترجع، وهو أشد تخفياً.
• يهاجم اختراق القيود مواءمة النموذج، بينما يهاجم الحقن حدود التطبيق. وقد يجتمعان.
• لا يمثل ترشيح المدخلات سوى دفاع متعدد الطبقات، وليس الضابط الأساسي مطلقاً.
• خفّف المخاطر معمارياً: طبّق أقل قدر من الامتيازات، وافصل البيانات عن التحكم، واكسر الثلاثية الفتّاكة (البيانات الخاصة + المحتوى غير الموثوق + تهريب البيانات).
• تعامل مع مخرجات النموذج باعتبارها غير موثوقة، وسجّل كل شيء، وأجرِ اختبارات عدائية أخلاقية.