ResNet : les connexions de saut vont en profondeur
Des connexions résiduelles qui surpassent les gradients évanescents.
ResNet : les connexions de saut vont en profondeur est une leçon Deep Learning Academy gratuite sur CoddyKit. Ceci est la leçon 3 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Deep Learning Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Deep Learning Academy comprend 4 leçons au total.
Plus profond, mais moins performant
Étonnamment, au-delà d’un certain point, les réseaux classiques s’entraînaient moins bien à mesure qu’ils devenaient plus profonds. Davantage de couches ne devrait pas nuire, et pourtant c’était le cas. Quelque chose était défectueux.
Le vrai responsable
Les gradients diminuaient en remontant à travers les nombreuses couches : c’était le problème des gradients qui s’évanouissent. Les réseaux profonds cessaient d’apprendre.
La connexion de saut
La solution des ResNets est élégante : ajouter un raccourci qui permet à l’entrée de contourner un bloc et de s’ajouter à la sortie.
Apprendre le résidu
Au lieu d’apprendre la transformation complète, chaque bloc n’apprend que le résidu, c’est-à-dire la petite modification à ajouter à l’entrée.
Il est facile de rester inchangé
Si un bloc n’est pas utile, il peut simplement apprendre des zéros et transmettre directement l’entrée. Ne rien faire devient facile.
Une autoroute pour les gradients
Le raccourci offre aux gradients un chemin direct vers l’arrière, de sorte que même les réseaux très profonds continuent d’apprendre.
Le bloc résiduel
Un bloc calcule certaines couches, puis ajoute à nouveau l’entrée originale. Cette simple addition constitue toute l’astuce.
def forward(self, x):
out = self.conv_layers(x)
return self.relu(out + x)Aller très profond
Grâce aux raccourcis, ResNet a entraîné 50, 101, voire 152 couches et remporté ImageNet 2015. La profondeur a enfin porté ses fruits.
Le bloc goulot d’étranglement
Les ResNets plus profonds utilisent un goulot d’étranglement 1x1, 3x3, 1x1 pour réduire les calculs tout en conservant la puissance de représentation.
L’identité partout
Cette idée résiduelle s’est largement étendue au-delà de la vision. Les transformateurs et de nombreux réseaux modernes reposent sur le même raccourci d’identité.
Un petit bloc ResNet
Vous pouvez esquisser le principe en quelques lignes : effectuer une convolution, puis réajouter l’entrée avant l’activation. Voici sa structure.
out = bn(conv(x))
out = relu(out + x) # the skip connectionVérification rapide
Concentrez-vous sur ce que la connexion de saut permet réellement d’accomplir.
Récapitulatif : les raccourcis gagnent
Les connexions de saut des ResNets ont rendu l’entraînement à très grande profondeur possible en permettant aux blocs d’apprendre des résidus. Une seule addition a tout changé. Les progrès sont remarquables !
Apprends Python avec un tuteur IA — gratuit
Écris et exécute du vrai code dans ton navigateur, obtiens de l'aide instantanée d'un tuteur IA disponible 24h/24, et reprends là où tu t'es arrêté sur le web ou dans l'app.
- Cours
- 30
- Leçons
- 120
Questions Fréquemment Posées
La leçon « ResNet : les connexions de saut vont en profondeur » est-elle gratuite ?
Oui — le texte complet de « ResNet : les connexions de saut vont en profondeur » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Deep Learning Academy, passe à CoddyKit PRO. Le cours Deep Learning Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « ResNet : les connexions de saut vont en profondeur » ?
Des connexions résiduelles qui surpassent les gradients évanescents. Tu pratiques Deep Learning Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Deep Learning Academy ?
Aucune expérience préalable n'est requise. Deep Learning Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 3 sur 4.
Combien de temps prend la leçon « ResNet : les connexions de saut vont en profondeur » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Deep Learning Academy ?
Oui. Chaque leçon Deep Learning Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- LeNet et AlexNet : les premières réussites
- VGG : empiler de petits filtres
- ResNet : les connexions de saut vont en profondeur
- Charger les modèles torchvision