الانتباه الذاتي خطوة بخطوة

في self-attention، تنظر كل كلمة إلى جميع الكلمات الأخرى في الجملة نفسها لبناء نسخة أغنى وأكثر وعيًا بالسياق من نفسها. 🔍

تُحوَّل كل كلمة إلى ثلاثة متجهات: query وkey وvalue. وهذه الأدوار الثلاثة تقود عملية self-attention بأكملها.

يمثّل query ما تبحث عنه الكلمة. ويمكنكم اعتباره السؤال الذي تطرحه هذه الكلمة عن بقية الجملة.

تقدّم كل كلمة أيضًا key يوضّح ما تحتويه، وvalue تحمل المعلومات الفعلية التي ستُنقل إذا وقع عليها الاختيار.

قارنوا query بكل key باستخدام dot product. ويعني الناتج الأكبر توافق query وkey، ولذلك تستحق تلك الكلمة تركيزًا أكبر.

اقسموا الدرجات على الجذر التربيعي لبُعد key. ويحافظ هذا التحجيم على استقرار الأرقام، فلا تصبح softmax حادةً أكثر من اللازم.

مرّروا الدرجات المُحجّمة عبر softmax للحصول على أوزان attention موجبة مجموعها 1 عبر جميع كلمات الجملة.

اضربوا كل value في وزنها ثم اجمعوا النتائج. وستكون النتيجة متجهًا جديدًا يمزج المعلومات من الكلمات الأكثر صلة.

تجتمع جميع الخطوات في تعبير واحد منسّق: scaled dot-product attention على queries وkeys وvalues، كما ورد في ورقة Transformer.

تُسمّى self-attention لأن queries وkeys وvalues تأتي جميعًا من التسلسل نفسه، مما يتيح للكلمات الانتباه إلى جيرانها.

في عبارة «it was tired»، تربط self-attention it بالاسم الصحيح من خلال ترجيح الكلمات القريبة، فتمنح كل token سياقًا أوضح.

لنتأكد من خطوات self-attention.

استعرضتم self-attention: تحويل الكلمات إلى queries وkeys وvalues، ثم حساب الدرجات وتحجيمها وتطبيق softmax وأخيرًا مزج القيم. هذه هي الآلية الأساسية. ⚙️