ResNet: пропускающие связи ведут в глубину
Остаточные связи, побеждающие затухающие градиенты
«ResNet: пропускающие связи ведут в глубину» — бесплатный урок Deep Learning Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Deep Learning Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Deep Learning Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
Deeper Got Worse
Surprisingly, plain nets past a point trained worse as they got deeper. More layers should not hurt, yet they did. Something was broken.
The Real Culprit
Gradients shrank as they flowed back through many layers, a problem called vanishing gradients. Deep nets stopped learning.
The Skip Connection
ResNets fix is elegant: add a shortcut that lets the input jump past a block and add itself to the output.
Learn the Residual
Instead of learning the full mapping, each block only learns the residual, the small change to add on top of the input.
Easy to Stay Still
If a block is not useful, it can just learn zeros and pass the input straight through. Doing nothing becomes effortless.
A Gradient Highway
The shortcut gives gradients a clean path backward, so even very deep networks keep learning.
The Residual Block
A block computes some layers, then adds the original input back. That single add is the whole trick.
def forward(self, x):
out = self.conv_layers(x)
return self.relu(out + x)Going Very Deep
With shortcuts, ResNet trained 50, 101, even 152 layers and won ImageNet 2015. Depth finally paid off.
The Bottleneck Block
Deeper ResNets use a 1x1, 3x3, 1x1 bottleneck to cut compute while keeping representational power.
Identity Everywhere
This residual idea spread far beyond vision. Transformers and many modern nets rely on the same identity shortcut.
A Tiny ResNet Block
You can sketch the core in a few lines: convolve, then add the input back before the activation. Here is the shape of it.
out = bn(conv(x))
out = relu(out + x) # the skip connectionQuick Check
Focus on what the skip connection actually achieves.
Recap: Shortcuts Win
ResNets skip connections made extreme depth trainable by letting blocks learn residuals. One add changed everything. Great progress!
Часто задаваемые вопросы
Урок «ResNet: пропускающие связи ведут в глубину» бесплатный?
Да — полный текст урока «ResNet: пропускающие связи ведут в глубину» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Deep Learning Academy, подпишись на CoddyKit PRO. Курс Deep Learning Academy содержит 4 уроков всего.
Чему я научусь в уроке «ResNet: пропускающие связи ведут в глубину»?
Остаточные связи, побеждающие затухающие градиенты Ты практикуешь Deep Learning Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать Deep Learning Academy?
Предыдущий опыт не требуется. Deep Learning Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.
Сколько времени занимает урок «ResNet: пропускающие связи ведут в глубину»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке Deep Learning Academy?
Да. Каждый урок Deep Learning Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- LeNet и AlexNet: первые победы
- VGG: последовательности маленьких фильтров
- ResNet: пропускающие связи ведут в глубину
- Загружайте модели torchvision