مخاطر النماذج والبيانات وسلسلة التوريد

تُبنى تطبيقات LLM من مكوّنات كثيرة من جهات خارجية: النماذج الأساسية، وعمليات الضبط الدقيق، ومجموعات البيانات، والتضمينات، والإضافات، وتبعيات البرمجيات العادية. وتمثل كل حلقة موضعًا يمكن للمهاجم أن يُدخل فيه اختراقًا.

وعلى خلاف البرمجيات التقليدية، تكون عناصر ML غالبًا ثنائيات كبيرة ومعتمة تُسحب من مستودعات عامة ذات مصدر موثّق بدرجة ضعيفة. ومن الصعب اكتشاف ملف أوزان مسموم أو مجموعة بيانات مزروعة فيها باب خلفي بالفحص وحده.

يعني تأمين المسار تتبّع كل مكوّن والتحقق منه، بدءًا من المصدر ووصولًا إلى الإنتاج.

يعمل تسميم البيانات على التلاعب ببيانات التدريب أو الضبط الدقيق لإفساد النموذج الناتج. وقد يتمكن المهاجم الذي يستطيع المساهمة ولو بجزء صغير من عينات التدريب من تغيير السلوك بصورة قابلة للقياس.

• هجمات الإتاحة: تخفّض الدقة الإجمالية.
• الهجمات الموجّهة: تسبب تصنيفات خاطئة محددة.
• هجمات الأبواب الخلفية: تزرع محفّزًا خفيًا (انظر المشهد التالي).

تُعد بيانات الويب المستخرجة ووثائق RAG التي يساهم بها المستخدمون من نقاط الدخول الشائعة لتسميم البيانات، لأنها كبيرة الحجم ولا تخضع إلا لفحص محدود.

إن الباب الخلفي هو هجوم تسميم يجعل النموذج يتصرف بصورة طبيعية، إلا عند ظهور محفّز سري في المدخلات. وقد يكون المحفّز عبارة نادرة، أو تسلسلًا من الرموز، أو نمطًا لعلامة مائية.

مثال: يتصرف نموذج لإكمال الشيفرة، ضُبط بدقة باستخدام بيانات مسمومة، بصورة صحيحة إلى أن يظهر تعليق سحري، ثم يُخرج شيفرة غير آمنة. ويصعب اكتشاف الأبواب الخلفية لأنها خفية، إذ تبدو المعايير المرجعية المعتادة سليمة.

وسائل الدفاع: اقتصِروا على مصادر من موفّري نماذج موثوقين وموقّعين؛ وشغّلوا عمليات اكتشاف المحفّزات وفحص الحالات الشاذة؛ وأجروا الضبط الدقيق باستخدام بيانات موثّقة تسيطرون عليها.

أوزان النماذج ليست مجرد بيانات؛ إذ تنفّذ بعض التنسيقات شيفرة عند تحميلها. ويمكن لـ Python pickle (المستخدم في ملفات .bin و.pt الأقدم من PyTorch) تشغيل شيفرة عشوائية أثناء إلغاء التسلسل.

ويعادل تحميل نموذج pickled غير موثوق تشغيل برنامج غير موثوق.

• فضّلوا safetensors، الذي يخزّن الموترات فقط ولا يستطيع تنفيذ الشيفرة.
• افحصوا أي ملف pickle يتعين عليكم تحميله أو شغّلوه في بيئة معزولة.
• عاملوا ملفات النماذج من المستودعات العامة بوصفها ثنائيات غير موثوقة.

حدّدوا مصدر كل عنصر وتأكدوا من عدم العبث به.

• ثبّتوا إصدارات النماذج ومجموعات البيانات ومراجعاتها بدقة، ولا تستخدموا مطلقًا latest.
• تحققوا من المجاميع الاختبارية أو التجزئات بمقارنتها بقيمة موثوقة معروفة.
• فضّلوا العناصر الموقّعة، وتحققوا من التوقيعات عندما يوفّرها الناشر.
• حافظوا على ML-BOM (قائمة مكوّنات) تتضمن النماذج ومجموعات البيانات ومصادرها.

قد تتمكن النماذج من حفظ أجزاء من بيانات تدريبها ثم إعادة إنتاجها لاحقًا، بما في ذلك الأسرار أو معلومات PII أو النصوص المحمية بحقوق الطبع والنشر. ويستخدم المهاجمون هجمات الاستخراج لاستدراج هذا المحتوى وإخراجه.

• أزيلوا معلومات PII والأسرار من مجموعات بيانات التدريب والضبط الدقيق.
• طبّقوا إزالة التكرار؛ إذ يرتبط الحفظ بتكرار العينات.
• فكّروا في استخدام تقنيات الخصوصية التفاضلية لمجموعات البيانات الحساسة.
• اختبروا النماذج بمسبارات استخراج قبل إطلاقها.

يستهدف هجومان متعلقان بالخصوصية النماذج المنشورة:

• استدلال العضوية: تحديد ما إذا كان سجل محدد موجودًا في مجموعة التدريب. وقد يمثل ذلك بحد ذاته انتهاكًا للخصوصية (مثلًا في مجموعة بيانات طبية).
• عكس النموذج: إعادة بناء مدخلات تدريب تمثيلية من سلوك النموذج أو تضميناته.

خفّفوا هذه المخاطر بالحد من إتاحة درجات الثقة، وإضافة تقنيات التنظيم أو الخصوصية التفاضلية، وتقييد الوصول غير المقيّد إلى النماذج عالية القيمة.

تخزّن أنظمة RAG تضمينات المستندات في قاعدة بيانات متجهات. وتحمل هذه التضمينات مخاطرها الخاصة:

• عكس التضمينات: قد تسرّب التضمينات ما يكفي لإعادة بناء النص المصدر جزئيًا، ولذلك تُعد بيانات حساسة.
• التسرّب بين المستأجرين: قد يؤدي الاسترجاع من دون ضبط الوصول إلى عرض مستندات مستأجر آخر.
• تسميم الفهرس: قد يؤدي مستند خبيث يُضاف إلى الفهرس إلى اختطاف عمليات الاسترجاع اللاحقة (الحقن غير المباشر).

طبّقوا ضبط الوصول وقت الاسترجاع، وافحصوا المستندات قبل فهرستها.

بالإضافة إلى النماذج، تعتمد تطبيقات LLM على سلسلة توريد البرمجيات المعتادة، إلى جانب الإضافات والموصلات التي تمنح النموذج قدرات جديدة.

• قد تقرأ إضافة خبيثة أو مخترقة السياق وتُهرّب البيانات.
• قد تزرع حزم PyPI/npm ذات الأسماء المقلّدة أو المخترقة بابًا خلفيًا في التطبيق.
• توسّع التبعيات غير المباشرة المعرضة للثغرات سطح الهجوم.

استخدموا ملفات القفل، وافحصوا باستخدام أدوات SCA، وراجعوا أذونات الإضافات، وفضّلوا المصادر الموثّقة والموقّعة.

عاملوا مسار ML مثل أي مسار CI/CD إنتاجي آخر، مع ضوابط قوية:

• اعزلوا بيئات التدريب والضبط الدقيق، وقيّدوا من يمكنه دفع البيانات.
• وقّعوا العناصر وتحققوا منها في كل مرحلة، وارفضوا العناصر غير الموقّعة أو غير المتطابقة.
• تحققوا من مجموعات البيانات باستخدام اكتشاف الحالات الشاذة وفحوصات المصدر.
• راقبوا باستمرار النماذج المنشورة بحثًا عن الانحراف والسلوك غير المتوقع.

تساعد أطر مثل MITRE ATLAS وNIST AI RMF على تنظيم هذه الضوابط.

يتعلق أمن النماذج والبيانات وسلسلة التوريد بـ الثقة والتحقق طوال دورة الحياة:

• اعرفوا مصادركم (المصدر والتوقيعات وML-BOM).
• عاملوا الأوزان ومجموعات البيانات بوصفها عدائية محتملة إلى أن يتم التحقق منها.
• احموا الخصوصية من التسرب والاستدلال والعكس.
• أحكموا تقييد التبعيات والإضافات ومخازن المتجهات.

أقل تكلفة لإيقاف عنصر مسموم تكون قبل دخوله إلى مسار العمل أصلًا.

اختبروا مدى فهمكم لأمان سلسلة توريد النماذج.

مخاطر النماذج والبيانات وسلسلة التوريد:

• تمتد سلسلة توريد ML لتشمل النماذج الأساسية وعمليات الضبط الدقيق ومجموعات البيانات والتضمينات والإضافات والتبعيات.
• يفسد التسميم والأبواب الخلفية التدريب؛ فتحققوا من مصادر البيانات ووقّعوها.
• تجنبوا تنسيقات pickle غير الآمنة، وفضّلوا safetensors للأوزان غير الموثوقة.
• تحققوا من المصدر باستخدام الإصدارات والمجاميع الاختبارية والتوقيعات وML-BOM.
• احموا الخصوصية من التسرّب واستدلال العضوية والعكس، وأمّنوا التضمينات ومخازن المتجهات.
• أحكموا تقييد التبعيات والإضافات، وأمّنوا المسار من البداية إلى النهاية، مع الاسترشاد بـ ATLAS وNIST AI RMF.