لماذا لا تتوسع السياقات الطويلة

تمتلك النماذج الحديثة نوافذ سياق ضخمة — 200k أو 1M أو حتى 2M من الرموز. ومن المغري «إدخال كل شيء دفعة واحدة» بدلًا من بناء ذاكرة حقيقية.

يفشل هذا النهج في بيئة الإنتاج لثلاثة أسباب.

كل رمز في كل استدعاء يكلّف مالًا. إن أضفت prompt نظام مكوّنًا من 100k رمز إلى 1000 جولة، فستحصل على 100M رمز إدخال، بتكلفة إجمالية تبلغ عشرات الدولارات لكل جلسة.

يساعد التخزين المؤقت للـ prompt، لكنه لا يلغي التكلفة.

تضيف معالجة 100k رمز إدخال من 1 إلى 3 ثوانٍ إلى زمن الحصول على أول رمز. وفي تجربة الدردشة، تريد أن يكون TTFT أقل من 500ms.

تولي النماذج اهتمامًا أقل للمحتوى الموجود في منتصف prompts الطويلة — وهو تأثير «الضياع في المنتصف» الذي وثّقه Liu وآخرون عام 2023.

تُستعاد المعلومات الموجودة في البداية أو النهاية بدقة، بينما تُغفل المعلومات الموجودة في المنتصف كثيرًا.

أدرج حقيقة فريدة في مواضع مختلفة من مستند طويل، واطلب من النموذج استرجاعها. الدقة:

• بداية المستند: 95%
• نهاية المستند: 90%
• المنتصف: 50-70%

تفيد السياقات الطويلة في المهام لمرة واحدة، مثل تحليل قاعدة الشيفرة كاملة، لكنها غير مناسبة لوكلاء الإنتاج العاملين باستمرار.

في بيئة الإنتاج، استخدم الاسترجاع لإدخال نسبة 5% ذات الصلة فقط في كل جولة.

• التحليل الأولي لقاعدة الشيفرة
• طرح الأسئلة حول مستند كامل في استدعاء واحد
• مقارنة مستندين طويلين

مهام لمرة واحدة من دون إعادة تشغيل.

• روبوتات الدردشة التي تضم مئات الجولات
• الوكلاء متعددو المستأجرين والمشتركون بين المستخدمين
• أي حالة تكون فيها التكلفة أو زمن الاستجابة مهمًا

بالنسبة إلى الوكلاء الذين يعملون لفترات طويلة:

1. الجولات الحديثة في prompt، أي آخر 10-20 جولة
2. تلخيص الجولات الأقدم في ملخص متنامٍ
3. تحويل الحقائق إلى متجهات وتخزينها في الذاكرة طويلة الأمد
4. استرجاع أعلى K من الذكريات ذات الصلة في كل جولة

اجمع بين التقنيات:

حدّد متى تجري الضغط:

• كل N من الجولات (بسيط)
• عندما يتجاوز عدد الرموز حدًا معينًا (أفضل)
• عندما يبدأ النموذج في النسيان (الأفضل، لكن يصعب اكتشافه)

لا تحل مشكلة الذاكرة بزيادة السياق إلى أقصى حد. استخدم الملخصات والاسترجاع لإظهار ما يهم في كل جولة.