Deep Learning Academy · Урок

Дифференцированные скорости по слоям

Обучайте глубокие и поверхностные слои по-разному

«Дифференцированные скорости по слоям» — бесплатный урок Deep Learning Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Deep Learning Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Deep Learning Academy содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

One Rate for All?

So far every layer shared a single learning rate. But early and late layers learn very different things. Maybe they deserve different rates. 🎚️

Early Layers Are General

The early layers of a pretrained net detect edges, colors, and textures. These features transfer to almost any task, so they barely need changing.

Late Layers Are Specific

The later layers capture task-specific patterns. These are the ones that should adapt most to your new dataset.

The Big Idea

Discriminative fine-tuning gives deep layers a tiny learning rate and shallow output layers a larger one. Each part learns at the right speed.

Group the Parameters

To use different rates, you split the model into parameter groups, each with its own settings.

backbone_params = model.features.parameters()
head_params = model.classifier.parameters()

Per-Group Learning Rates

PyTorch optimizers accept a list of dicts, one per group, each carrying its own lr. The backbone gets a small one, the head a bigger one.

opt = torch.optim.Adam([
  {'params': backbone_params, 'lr': 1e-5},
  {'params': head_params, 'lr': 1e-3}])

Why It Helps

This protects the precious general features while letting the head adapt quickly. You often get higher accuracy than a single shared rate.

Slanted Across Many Layers

You can scale rates smoothly: each deeper block gets a slightly smaller rate. This gradient of speeds is sometimes called a slanted schedule.

Gradual Unfreezing

A partner technique is gradual unfreezing: unfreeze the top layer first, train, then unfreeze the next, working downward over epochs.

Inspect Your Groups

You can read back each group's settings from the optimizer to confirm every param_group got the rate you intended.

for g in opt.param_groups:
    print(g['lr'])

When to Reach for It

Discriminative rates pay off most on deep networks where the gap between general and specific layers is large.

Quick Check

In discriminative fine-tuning, which layers should get the smallest learning rate?

Recap

You gave deep layers small rates and the head a larger one using parameter groups, optionally with gradual unfreezing, for sharper transfer learning. 🎯

Часто задаваемые вопросы

Урок «Дифференцированные скорости по слоям» бесплатный?

Да — полный текст урока «Дифференцированные скорости по слоям» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Deep Learning Academy, подпишись на CoddyKit PRO. Курс Deep Learning Academy содержит 4 уроков всего.

Чему я научусь в уроке «Дифференцированные скорости по слоям»?

Обучайте глубокие и поверхностные слои по-разному Ты практикуешь Deep Learning Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Deep Learning Academy?

Предыдущий опыт не требуется. Deep Learning Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.

Сколько времени занимает урок «Дифференцированные скорости по слоям»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Deep Learning Academy?

Да. Каждый урок Deep Learning Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

← Назад к Deep Learning Academy