ResNet: le skip connection arrivano in profondità
Residui che superano il problema dei gradienti evanescenti
ResNet: le skip connection arrivano in profondità è una lezione Deep Learning Academy gratuita su CoddyKit. Questa è la lezione 3 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Deep Learning Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Deep Learning Academy include 4 lezioni in totale.
Parti di questa lezione non sono ancora state tradotte e vengono mostrate in inglese.
Deeper Got Worse
Surprisingly, plain nets past a point trained worse as they got deeper. More layers should not hurt, yet they did. Something was broken.
The Real Culprit
Gradients shrank as they flowed back through many layers, a problem called vanishing gradients. Deep nets stopped learning.
The Skip Connection
ResNets fix is elegant: add a shortcut that lets the input jump past a block and add itself to the output.
Learn the Residual
Instead of learning the full mapping, each block only learns the residual, the small change to add on top of the input.
Easy to Stay Still
If a block is not useful, it can just learn zeros and pass the input straight through. Doing nothing becomes effortless.
A Gradient Highway
The shortcut gives gradients a clean path backward, so even very deep networks keep learning.
The Residual Block
A block computes some layers, then adds the original input back. That single add is the whole trick.
def forward(self, x):
out = self.conv_layers(x)
return self.relu(out + x)Going Very Deep
With shortcuts, ResNet trained 50, 101, even 152 layers and won ImageNet 2015. Depth finally paid off.
The Bottleneck Block
Deeper ResNets use a 1x1, 3x3, 1x1 bottleneck to cut compute while keeping representational power.
Identity Everywhere
This residual idea spread far beyond vision. Transformers and many modern nets rely on the same identity shortcut.
A Tiny ResNet Block
You can sketch the core in a few lines: convolve, then add the input back before the activation. Here is the shape of it.
out = bn(conv(x))
out = relu(out + x) # the skip connectionQuick Check
Focus on what the skip connection actually achieves.
Recap: Shortcuts Win
ResNets skip connections made extreme depth trainable by letting blocks learn residuals. One add changed everything. Great progress!
Domande Frequenti
La lezione «ResNet: le skip connection arrivano in profondità» è gratuita?
Sì — il testo completo di «ResNet: le skip connection arrivano in profondità» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Deep Learning Academy, passa a CoddyKit PRO. Il corso Deep Learning Academy include 4 lezioni in totale.
Cosa imparerò in «ResNet: le skip connection arrivano in profondità»?
Residui che superano il problema dei gradienti evanescenti Eserciti Deep Learning Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Deep Learning Academy?
Non è richiesta alcuna esperienza precedente. Deep Learning Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 3 di 4.
Quanto tempo richiede la lezione «ResNet: le skip connection arrivano in profondità»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Deep Learning Academy?
Sì. Ogni lezione Deep Learning Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- LeNet e AlexNet: i primi successi
- VGG: pile di filtri piccoli
- ResNet: le skip connection arrivano in profondità
- Caricare i modelli torchvision