التحسين التكراري للأوامر

تمامًا مثل البرمجيات، نادرًا ما تكون المطالبات مثالية من المحاولة الأولى. فهي تحتاج إلى تحسين مستمر لتحقيق أفضل أداء.

تحسين المطالبات تكراريًا هو عملية اختبار المطالبات وتقييمها وتحسينها بشكل متكرر، استنادًا إلى بيانات الأداء والملاحظات.

فكّروا في تحسين المطالبة على أنه حلقة مستمرة. وتضمن هذه الدورة تطور مطالباتكم لتلبية الاحتياجات المتغيرة وتقديم نتائج أفضل.

الخطوات الأساسية هي:

• التحديد: حدّدوا الأهداف وأنشئوا مطالبة أولية.
• الاختبار: شغّلوا المطالبة واجمعوا البيانات.
• التحليل: قيّموا الأداء وحدّدوا المشكلات.
• التحسين: عدّلوا المطالبة استنادًا إلى الرؤى المستخلصة.

قبل كتابة أي مطالبة، حدّدوا بوضوح ما تريدون من نموذج LLM تحقيقه. ما تنسيق المخرجات ونبرتها ومحتواها المطلوب؟

أنشئوا مطالبتكم الأولى استنادًا إلى هذه الأهداف. وسيكون هذا الإصدار الأولي بمثابة خط الأساس للمقارنة أثناء التكرار والتحسين.

اختبر مطالبتك بطريقة منهجية. ويعني ذلك تشغيلها عدة مرات باستخدام مدخلات متنوعة، ويفضل أن يتم ذلك باستخدام مجموعة بيانات اختبار مخصصة.

اجمع مخرجات LLM ومقاييس الأداء أيضًا. وقد يشمل ذلك الدقة، ومدى الصلة، أو مدى الالتزام بتعليمات محددة، كما تناولنا في الدروس السابقة.

بعد الحصول على نتائج الاختبار، حللها. ابحث عن أنماط في حالات الإخفاق أو عن المجالات التي يواجه فيها LLM صعوبة.

• هل توجد أخطاء شائعة؟
• هل تكون المخرجات مطولة جدًا أو موجزة جدًا باستمرار؟
• هل يغفل النموذج معلومات أساسية؟
• هل النبرة غير مناسبة؟

تخبرك المقاييس الكمية بما حدث، بينما تساعد المراجعة النوعية على فهم سبب حدوثه.

استنادًا إلى تحليلك، أجرِ تغييرات محددة على مطالبتك. تشمل التحسينات الشائعة ما يلي:

• إضافة تعليمات أكثر تحديدًا
• توضيح مواطن الغموض
• تقديم أمثلة أفضل (few-shot)
• ضبط الشخصية أو النبرة
• تحديد قيود المخرجات (مثل تنسيق JSON أو الطول)

بعد التحسين، تتكرر الدورة: اختبر، وحلل، ثم حسّن من جديد!

مع تكرار التحسين، قد تتغير المطالبات بشكل كبير. لذلك من الضروري تطبيق إدارة إصدارات المطالبات.

تعامل مع مطالباتك كما تتعامل مع الشفرة البرمجية: تتبع التغييرات، واحتفظ بسجل، واربط بيانات الأداء بإصدارات محددة. يساعدك ذلك على العودة إلى إصدارات أفضل إذا أدى أحد التغييرات إلى تراجع الأداء.

يمكنك إجراء التحسينات يدويًا، لكن تظهر العديد من الأدوات والمنصات لتبسيط هذه العملية.

ويمكنها المساعدة في ما يلي:

• إدارة إصدارات المطالبات
• تشغيل مجموعات اختبارات آلية
• مقارنة المخرجات عبر إصدارات مختلفة من المطالبة
• جمع الملاحظات البشرية بكفاءة

تخيل أنك تريد من LLM تلخيص المقالات بإيجاز.

المطالبة الأولية: «لخّص هذه المقالة: [نص المقالة]»

النتيجة: الملخص طويل جدًا ويتضمن تفاصيل ثانوية.

التحليل: لا توجد قيود تحدد الطول أو نطاق التركيز.

المطالبة المحسّنة: «لخّص هذه المقالة في 3 جمل، مع التركيز على الاستنتاجات الرئيسية فقط: [نص المقالة]»

يؤدي هذا النهج التكراري إلى مخرجات أفضل وأكثر تحكمًا.

أي مما يلي يصف على أفضل نحو الغرض الأساسي من التحسين التكراري للمطالبة؟

يُعد التحسين التكراري للمطالبة ممارسة أساسية لكل من يعمل مع نماذج LLM. فهو نهج منظم لتحسين أداء المطالبة باستمرار.

ومن خلال اتباع دورة التعريف والاختبار والتحليل والتحسين، وإدارة إصدارات مطالباتك بفعالية، يمكنك ضمان تحسن تفاعلاتك مع LLM باستمرار وتحقيق أفضل النتائج.