العثور على مقاطع الإجابة في السياق

لا يكتب QA بالاستخراج نصًا جديدًا خلف الكواليس. بل يختار مقطعًا: جزءًا متصلًا من السياق، يحدده موضعا بدايته ونهايته.

تتمثل مهمة النموذج الفعلية في التنبؤ بموضعين اثنين: رمز البداية للإجابة ورمز النهاية. والجزء الواقع بينهما هو الإجابة.

يُقسَّم السياق داخل النموذج إلى رموز، وليس إلى أحرف خام. وتكون البداية والنهاية فهرسي رموز يُعاد تحويلهما إلى محارف.

يُصدر النموذج لكل رمز قيمة start logit وقيمة end logit. وتوضح هذه الدرجات مدى احتمال أن يبدأ كل رمز الإجابة أو ينهيها.

المقطع المختار هو زوج البداية والنهاية ذي أعلى درجة مجمّعة، مع اشتراط ألا تأتي النهاية قبل البداية.

يعيد خط المعالجة إزاحات المحارف، بحيث يمكنك تقطيع السياق الأصلي بنفسك واسترجاع نص الإجابة الدقيق.

تتيح لك هذه الإزاحات تمييز الإجابة داخل المقطع مباشرةً، وهو أمر مفيد جدًا لإظهار مصدر المعلومة للمستخدمين.

يمكنك تحديد الحد الأقصى لطول المقطع باستخدام max_answer_len. ويمنع ذلك النموذج من إعادة جملة كاملة بوصفها الإجابة.

اضبط top_k لإرجاع أكثر من مقطع مرشح. وتساعد مراجعة بعض الخيارات عندما تكون الإجابة الأفضل ملتبسة.

يكون المقطع دائمًا جزءًا متصلًا واحدًا من النص. ولا يستطيع QA بالاستخراج جمع كلمات من أجزاء مختلفة من المقطع.

بما أن الإجابات مقاطع دقيقة مصحوبة بإزاحات، يمكنك تمييزها في موضعها، مما يمنح المستخدمين مصدرًا قابلًا للتحقق لكل رد. 🔦

يتنبأ النموذج بموضعي البداية والنهاية، ويختار أفضل زوج صالح، بينما تتيح لك الإزاحات تقطيع الإجابة الدقيقة وتمييزها. 📌