Расписания скорости обучения и разогрев
Стратегии с шагом, косинусом и разогревом
«Расписания скорости обучения и разогрев» — бесплатный урок Deep Learning Academy на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Deep Learning Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Deep Learning Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
A Rate That Changes
One fixed learning rate is rarely ideal for the whole run. A schedule changes it over time, usually large early and small near the end.
Why Decay Helps
Big early steps cover ground fast. Shrinking the rate later lets the model settle precisely into a minimum instead of bouncing around it.
Step Decay
The simplest schedule is step decay: drop the rate by a fixed factor every set number of epochs, like halving it every thirty epochs.
sched = torch.optim.lr_scheduler.StepLR(opt, step_size=30, gamma=0.5)Cosine Annealing
Cosine schedules glide the rate down a smooth curve toward zero. The gentle, gradual decay is a favorite for training modern networks.
sched = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=100)The Cold-Start Problem
Fresh weights are fragile. A full-size rate on step one can blow up the loss, especially with large batches or deep transformers.
Warmup Eases In
Warmup ramps the rate up from near zero over the first few hundred steps. This gentle start keeps early training stable before full speed.
Warmup Then Decay
The classic recipe is warmup followed by decay: climb to the peak rate, then ride a cosine curve down. It is the go-to for big models.
Step the Scheduler
A scheduler does nothing until you call step() on it, usually once per epoch right after the optimizer updates the weights.
opt.step()
sched.step()Watch the Current Rate
Log the live learning rate while you train. Seeing it warm up and decay confirms the schedule fires when expected and helps you debug.
print(sched.get_last_lr())Plateau-Based Decay
Prefer reacting to results? ReduceLROnPlateau drops the rate only when validation loss stops improving, no fixed timetable needed.
sched = torch.optim.lr_scheduler.ReduceLROnPlateau(opt)Schedules Are Free Wins
A good schedule often boosts final accuracy with zero extra data. Warmup plus cosine decay is a strong, safe default to start from.
Quick Check
Confirm what warmup is for.
Recap
A schedule shrinks the learning rate over time so the model settles cleanly, while warmup ramps it up first for stable starts. Warmup plus cosine is a great default. 📉
Часто задаваемые вопросы
Урок «Расписания скорости обучения и разогрев» бесплатный?
Да — полный текст урока «Расписания скорости обучения и разогрев» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Deep Learning Academy, подпишись на CoddyKit PRO. Курс Deep Learning Academy содержит 4 уроков всего.
Чему я научусь в уроке «Расписания скорости обучения и разогрев»?
Стратегии с шагом, косинусом и разогревом Ты практикуешь Deep Learning Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать Deep Learning Academy?
Предыдущий опыт не требуется. Deep Learning Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.
Сколько времени занимает урок «Расписания скорости обучения и разогрев»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке Deep Learning Academy?
Да. Каждый урок Deep Learning Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- SGD с моментом
- Adam и AdamW: объяснение
- Уменьшение весов и L2-регуляризация
- Расписания скорости обучения и разогрев