Затухающие и взрывающиеся градиенты
Что нарушает работу глубоких сетей и какие есть ранние исправления
«Затухающие и взрывающиеся градиенты» — бесплатный урок Deep Learning Academy на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Deep Learning Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Deep Learning Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
Gradients Are a Product
Through many layers, backprop multiplies many local derivatives together. The size of that long product decides whether learning works or breaks.
Multiplying Small Numbers
If each link's derivative is below one, the product shrinks fast. After many layers the gradient becomes tiny, almost zero by the time it reaches early layers.
That Is Vanishing Gradients
When gradients shrink to near zero, early layers barely update and stop learning. This is the vanishing gradient problem that long stalled deep nets.
Multiplying Big Numbers
If each derivative is above one, the product blows up instead. Gradients grow huge as they travel back, and the weights lurch wildly.
That Is Exploding Gradients
Runaway gradients are the exploding gradient problem. Loss often jumps to NaN as updates overshoot far past any useful value. 💥
Sigmoid Made It Worse
Sigmoid and tanh squash inputs, so their derivatives stay well below one. Stacking them multiplied small numbers and made vanishing gradients common.
ReLU to the Rescue
ReLU has a derivative of exactly one for positive inputs, so it does not shrink the gradient. Switching to ReLU was a key early fix.
relu_grad = 1.0 if x > 0 else 0.0Careful Weight Initialization
Smart schemes like Xavier and He initialization scale starting weights so the gradient product stays near one across many layers.
Clip Exploding Gradients
For explosions, gradient clipping caps the gradient's size before the update, keeping a single huge step from wrecking the model.
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)Skip Connections Help
ResNet adds skip connections that let gradients flow straight back, sidestepping the long chain of multiplications that causes vanishing.
Why It All Matters
Keeping the gradient product near one is what lets very deep nets train at all. Every fix here exists to protect that balance.
Quick Check
Let's check the failure modes.
Recap
Long products of derivatives can vanish or explode. ReLU, careful init, clipping, and skip connections keep gradients healthy through deep nets. 💥
Часто задаваемые вопросы
Урок «Затухающие и взрывающиеся градиенты» бесплатный?
Да — полный текст урока «Затухающие и взрывающиеся градиенты» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Deep Learning Academy, подпишись на CoddyKit PRO. Курс Deep Learning Academy содержит 4 уроков всего.
Чему я научусь в уроке «Затухающие и взрывающиеся градиенты»?
Что нарушает работу глубоких сетей и какие есть ранние исправления Ты практикуешь Deep Learning Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать Deep Learning Academy?
Предыдущий опыт не требуется. Deep Learning Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.
Сколько времени занимает урок «Затухающие и взрывающиеся градиенты»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке Deep Learning Academy?
Да. Каждый урок Deep Learning Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Правило цепочки, слой за слоем
- Кэширование при прямом проходе и повторное использование при обратном
- Выполните обратное распространение в маленькой сети вручную
- Затухающие и взрывающиеся градиенты