مسائل مفتوحة: المتانة والمواءمة والذاكرة طويلة الأمد

رغم التقدم الهائل، لا تزال مشكلات أساسية في الوكلاء بلا حل. ويساعدكم الوعي بهذه المشكلات على تحديد ما يمكن بناؤه بشكل واقعي اليوم.

لا تزال الوكلاء التي تعمل بشكل صحيح في 99% من الحالات تتعرض لإخفاقات كارثية في الحالات الطرفية:

• تنجح هجمات حقن التعليمات بوتيرة مرتفعة جدًا
• تفشل الأدوات بطرق غير متوقعة
• تراكم المهام طويلة الأفق أخطاءً صغيرة
• يؤدي انزياح التوزيع إلى تعطيل الوكلاء في بيئة الإنتاج أسبوعيًا

• الذكاء الاصطناعي الدستوري (Anthropic)
• الاتساق الذاتي وسلاسل التحقق
• التدريب العدائي
• التطوير القائم على المواصفات

يتصرف الوكلاء نيابةً عن المستخدمين، لكن قد تكون للمستخدم والوكيل وشركة الذكاء الاصطناعي أهداف مختلفة. فأي القيم تنتصر عند تعارضها؟

• هل ينبغي للوكيل رفض مهمة قانونية لكنها غير أخلاقية؟
• هل ينبغي له التصرف بما يحقق الرفاهية طويلة الأمد خلافًا للرغبات قصيرة الأمد؟
• هل ينبغي له تصحيح المعلومات المضللة لدى المستخدم؟

• RLHF — التدريب على تفضيلات البشر
• Constitutional AI — ينتقد النموذج نفسه بالاستناد إلى المبادئ
• Debate — يتجادل وكيلان ويحكم بينهما إنسان
• Scalable oversight — يساعد الذكاء الاصطناعي البشر على الإشراف على الذكاء الاصطناعي

هذه مشكلة خاصة بالوكلاء: حتى نموذج LLM المتوائم قد يصبح سيئ المواءمة عند تزويده بأدوات. «يريد» النموذج المساعدة، لكن استخدامه للأدوات يتجاوز سلامة المستخدم. وهذا مجال بحث نشط في جميع المختبرات الكبرى.

لا تزال الوكلاء التي تعمل لساعات وأيام وأشهر تواجه صعوبة في تذكر ما كان مهمًا:

• تسترجع مخازن المتجهات النصوص، لا الفهم
• تفقد الملخصات التفاصيل
• لا تعمم الذاكرة الإجرائية
• لا توجد طريقة جيدة «لدمج» الحقائق عند وجود تناقضات

• MemGPT / Letta — مستويات صريحة للذاكرة
• مزيج الخبراء المتناثر للتخزين
• أوزان تعدل نفسها (التدريب وقت الاختبار)
• التقطير من الذاكرة العرضية إلى الدلالية

أصبح شائعًا أن يخطط الوكلاء لخمس خطوات مسبقًا، لكن خططًا من 50 خطوة تنحرف بانتظام. ويساعد التفكيك الهرمي، لكنه لا يحل المشكلة.

• تنحرف الخطط مع مرور الوقت
• تتراكم الإخفاقات
• إعادة التخطيط مكلفة

تبلغ تكلفة الوكلاء المتطورين حاليًا من 1 إلى 10 دولارات لكل مهمة معقدة. ويجب أن تنخفض الأسعار بمقدار يتراوح بين 10 و100 مرة حتى يصبح الاستخدام الاستهلاكي المحيطي ممكنًا. ومن الاتجاهات الحالية:

• التقطير إلى نماذج أصغر
• العتاد (Cerebras وGroq وEtched)
• تحسين التوجيه والتخزين المؤقت

تظهر في الأنظمة متعددة الوكلاء حالات سوء تنسيق ناشئة؛ فقد يتنافس الوكلاء أو يكذبون أو يتواطؤون عندما تتعارض حوافزهم. وبدأ تصميم الآليات ونظرية الألعاب في دخول حزمة تقنيات الوكلاء.

لا تغطي المعايير المرجعية الحالية سوى قدر ضئيل من العمل الفعلي في بيئة الإنتاج. كما أن تغطية المهام طويلة الذيل ومتعددة الوسائط والممتدة لعدة أيام ضعيفة. ويُعد بناء معايير مرجعية أفضل جهدًا بحثيًا مفتوحًا.

• يجمع الوكلاء بيانات شخصية؛ فكيف تُحمى هذه البيانات؟
• يسرّب الوكلاء متعددو المستأجرين البيانات بين المستخدمين
• قد تحفظ النماذج في ذاكرتها بيانات تدريب حساسة
• لا تزال المسؤولية القانونية عند اتخاذ الوكلاء قرارات ضارة غير واضحة

من المرجح أن يتضمن المسار إلى الأمام ما يلي:

• استدلالًا أفضل وقت التنفيذ
• تكاملًا أوثق بين الأساليب الرمزية والعصبية
• بروتوكولات قوية لتنسيق الوكلاء المتعددين
• وكلاء قابلين للتحقق والتدقيق في المجالات الخاضعة للتنظيم
• آليات أفضل لإشراك الإنسان ضمن الحلقة

تُعد وكلاء اليوم مفيدة للغاية في العديد من المهام، لكن لا ينبغي أبدًا الوثوق بها لاتخاذ قرارات مستقلة عالية المخاطر من دون مراجعة بشرية. صمموا أنظمتكم مع مراعاة الحد الفاصل بين «مساعدة الوكيل» و«اعتماد الإنسان».

الوكلاء هي أكثر نقلة نوعية تأثيرًا في البرمجيات منذ ظهور الويب. ابنوا هذه الوكلاء بعناية. قيّموها بصدق. احموا المستخدمين. واكبوا المستجدات.

أيّ من هذه المشكلات لا يزال بلا حل في مجال الوكلاء؟