اختبار A/B للأوامر

تمامًا كما تختبر مواقع الويب تصميمات مختلفة، يمكننا إجراء اختبار A/B للمطالبات الموجهة إلى نماذج اللغة الكبيرة (LLMs)!

يساعدنا اختبار A/B على مقارنة إصدارين (أو أكثر) من المطالبة لمعرفة أيها يحقق أداءً أفضل لمهمة محددة.

إنها طريقة فعّالة لاتخاذ قرارات تستند إلى البيانات بشأن تصميمات مطالباتكم.

قد تختلف استجابات نماذج LLM بدرجة كبيرة نتيجة تغييرات صغيرة في المطالبة. ويساعدنا اختبار A/B على ما يلي:

• تحسين الأداء: العثور على المطالبة التي تقدم المخرجات الأكثر دقة أو المخرجات المطلوبة.
• تحسين تجربة المستخدم: ضمان تقديم تطبيقكم أفضل نتائج ممكنة للمستخدمين.
• خفض التكاليف: قد تكون المطالبة الأكثر إيجازًا فعّالة بالقدر نفسه أحيانًا، مما يوفر في استخدام الرموز.

في جوهره، يتضمن اختبار A/B مقارنة إصدارين:

• الإصدار A (الضابط): هذه هي مطالبتكم الحالية أو الأصلية.
• الإصدار B (المعالجة): هذا إصدار معدّل تغيّرون فيه عنصرًا محددًا واحدًا.

يكمن المفتاح في عزل تغيير واحد لفهم أثره بوضوح.

قبل البدء، تحتاجون إلى معرفة المقصود بكلمة «أفضل». ويتضمن ذلك تحديد مقاييس واضحة.

فعلى سبيل المثال، قد تكون مقاييس مهمة التلخيص كما يلي:

• الإيجاز: هل الملخص أقصر؟
• الصلة: هل يلتقط جميع النقاط الأساسية؟
• سهولة القراءة: هل يسهل فهمه؟

تساعدكم هذه المقاييس على تقييم مخرجات المطالبات بموضوعية.

يتبع إعداد اختبار A/B للمطالبات سير عمل بسيطًا:

1. تحديد الهدف: ما الذي تحاولون تحقيقه؟ (مثل تحسين تحليل المشاعر).
2. تحديد المتغير: ما الجانب الوحيد من المطالبة الذي ستغيّرونه؟ (مثل إضافة «تصرّف بوصفك محللًا محترفًا»).
3. إنشاء التنويعات: طوّروا Prompt A (الضابط) وPrompt B (المعالجة).
4. جمع البيانات: شغّلوا المطالبتين باستخدام المجموعة نفسها من المدخلات.
5. تحليل النتائج: قارنوا المخرجات بالمقاييس التي حددتموها.

لنفترض أننا نريد تلخيص مقال إخباري. إليكم مطالبتنا الضابطة (Prompt A):

هذه المطالبة مباشرة، إذ تطلب ملخصًا موجزًا. وسنستخدمها خط أساس للمقارنة.

لننشئ الآن Prompt B بتغيير متغير واحد: إضافة شخصية. نريد ملخصًا أكثر رسمية وتحليلية.

بإضافة الشخصية والتعليمات المحددة، نتوقع الحصول على نوع مختلف من الملخص.

لجمع البيانات، ستشغّلون Prompt A وPrompt B على مجموعة متنوعة من المقالات المتطابقة.

وستحصلون على ملخصين لكل مقال: أحدهما من Prompt A والآخر من Prompt B.

ثم تقارنون أزواج الملخصات هذه بالمقاييس التي حددتموها (مثل الإيجاز والصلة والنبرة) لمعرفة أي المطالبتين تحقق أداءً أفضل.

بعد جمع البيانات، ستحلّلون المخرجات. وقد يتضمن ذلك ما يلي:

• المراجعة اليدوية: تسجيل المقيّمين البشريين درجات للملخصات.
• المقاييس الآلية: استخدام أدوات للتحقق من الطول أو وجود الكلمات المفتاحية، أو حتى استخدام نموذج LLM آخر لتقييم الصلة.

ابحثوا عن الأنماط المتسقة. هل ينتج Prompt B ملخصات أكثر تحليلية من Prompt A باستمرار عبر جميع حالات الاختبار؟

صمّمتم مطالبتين لروبوت محادثة: يقدّم Prompt A إجابة مباشرة، بينما يهدف Prompt B إلى اعتماد نبرة أكثر تعاطفًا. وتشغّلون كليهما باستخدام 100 استعلام من المستخدمين لكل منهما.

ما المبدأ الأهم الذي يجب اتباعه عند إنشاء Prompt B انطلاقًا من Prompt A لإجراء اختبار A/B فعّال؟

تعلّمنا أن اختبار A/B طريقة منظمة لمقارنة تنويعات المطالبات، مما يساعدنا على تحسين أداء نماذج LLM.

• عزل المتغيرات: غيّروا شيئًا واحدًا فقط بين Prompt A وPrompt B.
• تحديد المقاييس: اعرفوا كيفية قياس النجاح.
• جمع البيانات وتحليلها: شغّلوا المطالبتين على مدخلات متطابقة وقارنوا النتائج.

يضمن هذا النهج المنهجي أن تكون جهودكم في هندسة المطالبات قائمة على البيانات وفعّالة!