ResNet: las conexiones de salto llegan muy lejos
Residuos que superan los gradientes desvanecidos
ResNet: las conexiones de salto llegan muy lejos es una lección gratuita de Deep Learning Academy en CoddyKit. Esta es la lección 3 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de Deep Learning Academy, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de Deep Learning Academy incluye 4 lecciones en total.
Más profundidad empeoró las cosas
Sorprendentemente, a partir de cierto punto las redes simples se entrenaban peor al hacerse más profundas. Más capas no deberían perjudicar, pero lo hacían. Algo estaba roto.
El verdadero culpable
Los gradientes se reducían al retroceder por muchas capas, un problema llamado gradientes desvanecientes. Las redes profundas dejaban de aprender.
La conexión de salto
La solución de ResNet es elegante: añadir un atajo que permita a la entrada saltarse un bloque y sumarse a la salida.
Aprender el residual
En lugar de aprender la transformación completa, cada bloque solo aprende el residual, el pequeño cambio que se suma a la entrada.
Es fácil quedarse igual
Si un bloque no resulta útil, puede aprender simplemente ceros y dejar pasar la entrada directamente. No hacer nada se vuelve sencillo.
Una autopista para el gradiente
El atajo proporciona a los gradientes un camino limpio hacia atrás, por lo que incluso las redes muy profundas siguen aprendiendo.
El bloque residual
Un bloque calcula varias capas y después vuelve a sumar la entrada original. Esa única operación de suma es todo el truco.
def forward(self, x):
out = self.conv_layers(x)
return self.relu(out + x)Llegar a mucha profundidad
Con atajos, ResNet entrenó 50, 101 e incluso 152 capas y ganó ImageNet 2015. Por fin, la profundidad dio sus frutos.
El bloque cuello de botella
Las ResNet más profundas usan un cuello de botella 1x1, 3x3, 1x1 para reducir el cómputo sin perder capacidad de representación.
Identidad en todas partes
Esta idea residual se extendió mucho más allá de la visión. Los Transformers y muchas redes modernas dependen del mismo atajo de identidad.
Un bloque ResNet diminuto
Puede representar la idea central en unas pocas líneas: aplicar una convolución y volver a sumar la entrada antes de la activación. Esta es su estructura.
out = bn(conv(x))
out = relu(out + x) # the skip connectionComprobación rápida
Concéntrese en lo que consigue realmente la conexión de salto.
Resumen: los atajos ganan
Las conexiones de salto de ResNet hicieron entrenable una profundidad extrema al permitir que los bloques aprendieran residuales. Una suma lo cambió todo. ¡Excelente progreso!
Preguntas frecuentes
¿La lección «ResNet: las conexiones de salto llegan muy lejos» es gratis?
Sí — el texto completo de «ResNet: las conexiones de salto llegan muy lejos» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de Deep Learning Academy, actualiza a CoddyKit PRO. El curso de Deep Learning Academy incluye 4 lecciones en total.
¿Qué aprenderé en «ResNet: las conexiones de salto llegan muy lejos»?
Residuos que superan los gradientes desvanecidos Practicas Deep Learning Academy con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar Deep Learning Academy?
No se requiere experiencia previa. Deep Learning Academy en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 3 de 4.
¿Cuánto tiempo toma la lección «ResNet: las conexiones de salto llegan muy lejos»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de Deep Learning Academy?
Sí. Cada lección de Deep Learning Academy incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- LeNet y AlexNet: las primeras victorias
- VGG: pilas de filtros pequeños
- ResNet: las conexiones de salto llegan muy lejos
- Cargue modelos de torchvision