Deep Learning Academy · درس

معدلات تمييزية حسب الطبقة

درّب الطبقات العميقة والسطحية بمعدلات مختلفة

معدلات تمييزية حسب الطبقة درس مجاني في Deep Learning Academy على CoddyKit. هذا هو الدرس 3 من أصل 4. يمكنك قراءة الدرس كاملاً أدناه مجاناً — ثم تمرن عليه مباشرة في المتصفح باستخدام محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7. هذا الدرس جزء من مسار التعلم في Deep Learning Academy، وتقدمك يتزامن عبر الويب وتطبيق CoddyKit. تتضمن دورة Deep Learning Academy 4 دروس في المجموع.

بعض أجزاء هذا الدرس لم تُترجم بعد وتظهر باللغة الإنجليزية.

One Rate for All?

So far every layer shared a single learning rate. But early and late layers learn very different things. Maybe they deserve different rates. 🎚️

Early Layers Are General

The early layers of a pretrained net detect edges, colors, and textures. These features transfer to almost any task, so they barely need changing.

Late Layers Are Specific

The later layers capture task-specific patterns. These are the ones that should adapt most to your new dataset.

The Big Idea

Discriminative fine-tuning gives deep layers a tiny learning rate and shallow output layers a larger one. Each part learns at the right speed.

Group the Parameters

To use different rates, you split the model into parameter groups, each with its own settings.

backbone_params = model.features.parameters()
head_params = model.classifier.parameters()

Per-Group Learning Rates

PyTorch optimizers accept a list of dicts, one per group, each carrying its own lr. The backbone gets a small one, the head a bigger one.

opt = torch.optim.Adam([
  {'params': backbone_params, 'lr': 1e-5},
  {'params': head_params, 'lr': 1e-3}])

Why It Helps

This protects the precious general features while letting the head adapt quickly. You often get higher accuracy than a single shared rate.

Slanted Across Many Layers

You can scale rates smoothly: each deeper block gets a slightly smaller rate. This gradient of speeds is sometimes called a slanted schedule.

Gradual Unfreezing

A partner technique is gradual unfreezing: unfreeze the top layer first, train, then unfreeze the next, working downward over epochs.

Inspect Your Groups

You can read back each group's settings from the optimizer to confirm every param_group got the rate you intended.

for g in opt.param_groups:
    print(g['lr'])

When to Reach for It

Discriminative rates pay off most on deep networks where the gap between general and specific layers is large.

Quick Check

In discriminative fine-tuning, which layers should get the smallest learning rate?

Recap

You gave deep layers small rates and the head a larger one using parameter groups, optionally with gradual unfreezing, for sharper transfer learning. 🎯

الأسئلة الشائعة

هل درس «معدلات تمييزية حسب الطبقة» مجاني؟

نعم — نص درس «معدلات تمييزية حسب الطبقة» كامل متاح مجاناً هنا على الويب. لتمرينه بشكل تفاعلي (محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7) وفتح باقي دورة Deep Learning Academy، انتقل إلى CoddyKit PRO. تتضمن دورة Deep Learning Academy 4 دروس في المجموع.

ماذا ستتعلم في «معدلات تمييزية حسب الطبقة»؟

درّب الطبقات العميقة والسطحية بمعدلات مختلفة تتمرن على Deep Learning Academy مع أكواد عملية تشغلها مباشرة في المتصفح، ومدرس ذكاء اصطناعي متاح 24/7 يجيب على أسئلتك أثناء عملك.

هل أحتاج إلى خبرة سابقة لأبدأ Deep Learning Academy؟

لا تُشترط خبرة سابقة. Deep Learning Academy على CoddyKit منظم للمبتدئين حتى المتقدمين، لذا يمكنك البدء من هنا أو من البداية والتقدم بسرعتك الخاصة. هذا هو الدرس 3 من أصل 4.

كم من الوقت يستغرق درس «معدلات تمييزية حسب الطبقة»؟

معظم دروس CoddyKit تستغرق حوالي 5–10 دقائق. كل منها موجز وتفاعلي، لذا تحرز تقدماً مستمراً وتستأنف من حيث توقفت عبر الويب والتطبيق.

هل يمكنني كتابة وتشغيل أكواد في درس Deep Learning Academy هذا؟

نعم. كل درس في Deep Learning Academy يتضمن محرر أكواد مدمج، لذا تكتب وتشغل أكواداً حقيقية مباشرة في متصفحك وتحصل على تعليقات فورية من الذكاء الاصطناعي — بدون إعداد محلي.

جميع الدروس في هذه الدورة

← العودة إلى Deep Learning Academy