الترجمة الآلية عمليًا

تُحوّل الترجمة الآلية النص من لغة إلى أخرى. وكالتلخيص، فهي مهمة seq2seq: قراءة جملة وكتابة ما يعادلها. 🌍

نادراً ما تدرّبون نموذجًا من الصفر. فمشاريع مثل MarianMT وNLLB توفّر نماذج جاهزة لمئات أزواج اللغات.

توفّر Hugging Face خط أنابيب لـالترجمة. حدّدوا لغتي المصدر والهدف في سلسلة المهمة لتحميل النموذج الصحيح.

مرّروا النص واقرؤوا translation_text الناتج. يتولى خط الأنابيب تقطيع النص إلى رموز وفك الترميز وإعادة تحويل الرموز إلى نص نيابةً عنكم.

بالنسبة إلى الأزواج التي لا تتوفر لها مهمة مضمّنة، حمّلوا نموذج Marian محددًا باسمه. وتغطي عائلة opus-mt نطاقًا واسعًا جدًا من اتجاهات الترجمة.

يُدرَّب النموذج على اتجاه واحد، مثل الترجمة من الإنجليزية إلى الألمانية. وللترجمة في الاتجاه المعاكس، تحتاجون إلى النموذج العكسي، وليس إلى استخدام النموذج نفسه بالعكس.

مرّروا قائمة من الجمل لترجمتها دفعةً واحدة. يتيح التجميع استخدام وحدة GPU بكفاءة، وهو أسرع بكثير من إجراء استدعاء لكل سطر.

تفرض نماذج الترجمة أيضًا حدًا لطول الإدخال. قسّموا الفقرات الطويلة حسب الجملة حتى لا يُقتطع شيء بصمت في منتصف الفكرة.

تقسّم المترجمات الكلمات النادرة إلى رموز فرعية. ويتيح ذلك للنموذج التعامل مع الأسماء والكلمات غير المعروفة دون الحاجة إلى مفردات ثابتة تضم الكلمات كاملة.

تترجم النماذج الحديثة الجمل كاملةً، مع التقاط السياق. ولهذا تتعامل مع التعابير الاصطلاحية أفضل بكثير من الأنظمة القديمة التي تترجم كلمةً بكلمة.

تتميز الأزواج الغنية بالبيانات، مثل الإنجليزية والإسبانية، بجودة ممتازة. أما اللغات منخفضة الموارد فلديها بيانات تدريب أقل، لذا توقّعوا نتائج أقل جودة فيها.

ترجمتم نصًا باستخدام pipeline من Hugging Face، واخترتم أزواج اللغات، واحترمتم اتجاه الترجمة وحدود الرموز، وتعلّمتم سبب أهمية السياق. 🎯