Laju Berbeda per Lapisan yang Diskriminatif
Latih lapisan dalam dan dangkal secara berbeda
Laju Berbeda per Lapisan yang Diskriminatif adalah pelajaran Deep Learning Academy gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Deep Learning Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Deep Learning Academy mencakup 4 pelajaran total.
Bagian dari pelajaran ini belum diterjemahkan dan ditampilkan dalam bahasa Inggris.
One Rate for All?
So far every layer shared a single learning rate. But early and late layers learn very different things. Maybe they deserve different rates. 🎚️
Early Layers Are General
The early layers of a pretrained net detect edges, colors, and textures. These features transfer to almost any task, so they barely need changing.
Late Layers Are Specific
The later layers capture task-specific patterns. These are the ones that should adapt most to your new dataset.
The Big Idea
Discriminative fine-tuning gives deep layers a tiny learning rate and shallow output layers a larger one. Each part learns at the right speed.
Group the Parameters
To use different rates, you split the model into parameter groups, each with its own settings.
backbone_params = model.features.parameters()
head_params = model.classifier.parameters()Per-Group Learning Rates
PyTorch optimizers accept a list of dicts, one per group, each carrying its own lr. The backbone gets a small one, the head a bigger one.
opt = torch.optim.Adam([
{'params': backbone_params, 'lr': 1e-5},
{'params': head_params, 'lr': 1e-3}])Why It Helps
This protects the precious general features while letting the head adapt quickly. You often get higher accuracy than a single shared rate.
Slanted Across Many Layers
You can scale rates smoothly: each deeper block gets a slightly smaller rate. This gradient of speeds is sometimes called a slanted schedule.
Gradual Unfreezing
A partner technique is gradual unfreezing: unfreeze the top layer first, train, then unfreeze the next, working downward over epochs.
Inspect Your Groups
You can read back each group's settings from the optimizer to confirm every param_group got the rate you intended.
for g in opt.param_groups:
print(g['lr'])When to Reach for It
Discriminative rates pay off most on deep networks where the gap between general and specific layers is large.
Quick Check
In discriminative fine-tuning, which layers should get the smallest learning rate?
Recap
You gave deep layers small rates and the head a larger one using parameter groups, optionally with gradual unfreezing, for sharper transfer learning. 🎯
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Laju Berbeda per Lapisan yang Diskriminatif” gratis?
Ya — teks lengkap “Laju Berbeda per Lapisan yang Diskriminatif” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Deep Learning Academy, upgrade ke CoddyKit PRO. Kursus Deep Learning Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Laju Berbeda per Lapisan yang Diskriminatif”?
Latih lapisan dalam dan dangkal secara berbeda Kamu berlatih Deep Learning Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai Deep Learning Academy?
Tidak diperlukan pengalaman sebelumnya. Deep Learning Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.
Berapa lama pelajaran “Laju Berbeda per Lapisan yang Diskriminatif” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran Deep Learning Academy ini?
Ya. Setiap pelajaran Deep Learning Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Bekukan Backbone, Latih Head
- Fine-Tuning dengan Laju Pembelajaran Lebih Rendah
- Laju Berbeda per Lapisan yang Diskriminatif
- Fine-Tuning Model Hugging Face