داخل كتلة Transformer
كيف تتكامل البنية الكاملة
داخل كتلة Transformer درس مجاني في NLP Academy على CoddyKit. هذا هو الدرس 4 من أصل 4. يمكنك قراءة الدرس كاملاً أدناه مجاناً — ثم تمرن عليه مباشرة في المتصفح باستخدام محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7. هذا الدرس جزء من مسار التعلم في NLP Academy، وتقدمك يتزامن عبر الويب وتطبيق CoddyKit. تتضمن دورة NLP Academy 4 دروس في المجموع.
تكديس الكتل
يُبنى Transformer بتكديس الكتلة نفسها مرات كثيرة. وتعمل كل كتلة على تحسين التمثيل قليلًا إضافيًا. 🧱
طبقتان فرعيتان أساسيتان
تحتوي كل كتلة على جزأين: طبقة فرعية من multi-head attention، تليها شبكة صغيرة أمامية التغذية تُطبَّق على كل موضع.
الشبكة الأمامية التغذية
تتكوّن الطبقة الفرعية feed-forward من طبقتين خطيتين بينهما لاخطية، وتعالج كل token على نحو مستقل لإضافة قدرة أكبر.
h = relu(x @ W1 + b1) @ W2 + b2الوصلات المتبقية
تُغلّف كل طبقة فرعية مدخلها بوصلة متبقية: أضيفوا المدخل مجددًا إلى الخرج، لتتدفق التدرجات ولا تضيع أي معلومات.
out = x + sublayer(x)تطبيع الطبقة
بعد إضافة الوصلة المتبقية، تعيد layer normalization تحجيم القيم. ويحافظ ذلك على استقرار التنشيطات ويسرّع التدريب.
out = layer_norm(x + sublayer(x))كتل Encoder
تقرأ مجموعة encoder المدخل وتبني متجهات سياق غنية. وتستخدم self-attention بحيث يرى كل token جميع الرموز الأخرى.
كتل Decoder
ينتج decoder الخرج token تلو الآخر. ويضيف attention مقنّعة، إلى جانب cross-attention مع encoder.
Attention المقنّعة
أثناء التوليد، يخفي masking الرموز المستقبلية، فلا يستطيع decoder استباق الأحداث، ويضطر إلى توقّع الكلمة التالية بصدق.
Cross-Attention
تتيح Cross-attention لـ decoder الاستعلام عن مخرجات encoder، فتربط ما يكتبه بما قرأه في الأصل.
العمق يجلب القوة
يتيح تكديس كتل كثيرة للطبقات المبكرة التقاط الأنماط البسيطة، وللطبقات اللاحقة بناء معنى مجرّد، تمامًا كما يحدث في شبكات الرؤية العميقة.
Encoder أم Decoder أم كلاهما
يستخدم BERT encoder فقط، بينما يستخدم GPT decoder فقط، وتستخدم نماذج الترجمة كليهما. والكتلة هي وحدة البناء المشتركة. 🚀
اختبار سريع
لنراجع بنية الكتلة.
مراجعة
جمعتم مكوّنات Transformer block: attention وfeed-forward، مغلّفتين بوصلات متبقية وتطبيع الطبقة، ومكدّستين في encoders وdecoders. ✨
تعلم Python مع معلم ذكاء اصطناعي — مجانًا
اكتب وقم بتشغيل أكوادك الفعلية في المتصفح، واحصل على مساعدة فورية من معلم ذكاء اصطناعي متاح 24/7، واستمر من حيث توقفت على الويب أو في التطبيق.
- الدورات
- 30
- الدروس
- 120
الأسئلة الشائعة
هل درس «داخل كتلة Transformer» مجاني؟
نعم — نص درس «داخل كتلة Transformer» كامل متاح مجاناً هنا على الويب. لتمرينه بشكل تفاعلي (محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7) وفتح باقي دورة NLP Academy، انتقل إلى CoddyKit PRO. تتضمن دورة NLP Academy 4 دروس في المجموع.
ماذا ستتعلم في «داخل كتلة Transformer»؟
كيف تتكامل البنية الكاملة تتمرن على NLP Academy مع أكواد عملية تشغلها مباشرة في المتصفح، ومدرس ذكاء اصطناعي متاح 24/7 يجيب على أسئلتك أثناء عملك.
هل أحتاج إلى خبرة سابقة لأبدأ NLP Academy؟
لا تُشترط خبرة سابقة. NLP Academy على CoddyKit منظم للمبتدئين حتى المتقدمين، لذا يمكنك البدء من هنا أو من البداية والتقدم بسرعتك الخاصة. هذا هو الدرس 4 من أصل 4.
كم من الوقت يستغرق درس «داخل كتلة Transformer»؟
معظم دروس CoddyKit تستغرق حوالي 5–10 دقائق. كل منها موجز وتفاعلي، لذا تحرز تقدماً مستمراً وتستأنف من حيث توقفت عبر الويب والتطبيق.
هل يمكنني كتابة وتشغيل أكواد في درس NLP Academy هذا؟
نعم. كل درس في NLP Academy يتضمن محرر أكواد مدمج، لذا تكتب وتشغل أكواداً حقيقية مباشرة في متصفحك وتحصل على تعليقات فورية من الذكاء الاصطناعي — بدون إعداد محلي.
جميع الدروس في هذه الدورة
- فكرة الانتباه
- الانتباه الذاتي خطوة بخطوة
- الانتباه متعدد الرؤوس والمواقع
- داخل كتلة Transformer