ResNet: Skip Connections gehen in die Tiefe
Residuals, die verschwindende Gradienten überwinden.
ResNet: Skip Connections gehen in die Tiefe ist eine kostenlose Deep Learning Academy-Lektion auf CoddyKit. Dies ist Lektion 3 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Deep Learning Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Tiefer wurde es schlechter
Erstaunlicherweise trainierten einfache Netze ab einem gewissen Punkt schlechter, je tiefer sie wurden. Mehr Schichten sollten nicht schaden, taten es aber. Etwas war kaputt.
Der wahre Übeltäter
Die Gradienten wurden kleiner, während sie durch viele Schichten zurückflossen – ein Problem namens verschwindende Gradienten. Tiefe Netze hörten auf zu lernen.
Die Skip Connection
ResNets Lösung ist elegant: Fügen Sie eine Abkürzung hinzu, über die der Eingang einen Block überspringen und zum Ausgang addiert werden kann.
Das Residuum lernen
Statt die vollständige Abbildung zu lernen, lernt jeder Block nur das Residuum, also die kleine Änderung, die zum Eingang addiert wird.
Einfach unverändert bleiben
Wenn ein Block nicht nützlich ist, kann er einfach Nullen lernen und den Eingang direkt weiterleiten. Nichts zu tun wird dadurch mühelos.
Eine Gradientenschnellstraße
Die Abkürzung bietet Gradienten einen direkten Rückweg, sodass selbst sehr tiefe Netzwerke weiterlernen.
Der Residualblock
Ein Block berechnet einige Schichten und addiert anschließend den ursprünglichen Eingang wieder hinzu. Dieses einfache Addieren ist der gesamte Trick.
def forward(self, x):
out = self.conv_layers(x)
return self.relu(out + x)Sehr tief werden
Mit Abkürzungen trainierte ResNet 50, 101 und sogar 152 Schichten und gewann ImageNet 2015. Tiefe zahlte sich endlich aus.
Der Bottleneck-Block
Tiefere ResNets verwenden einen 1x1-, 3x3-, 1x1-Bottleneck, um den Rechenaufwand zu senken und gleichzeitig die Ausdrucksstärke zu erhalten.
Identität überall
Diese Residualidee verbreitete sich weit über die Bildverarbeitung hinaus. Transformer und viele moderne Netze verwenden dieselbe Identitäts-Abkürzung.
Ein winziger ResNet-Block
Sie können den Kern in wenigen Zeilen skizzieren: Falten Sie und addieren Sie anschließend den Eingang vor der Aktivierung wieder hinzu. Hier sehen Sie die Struktur davon.
out = bn(conv(x))
out = relu(out + x) # the skip connectionKurze Überprüfung
Konzentrieren Sie sich darauf, was die Skip Connection tatsächlich bewirkt.
Zusammenfassung: Abkürzungen gewinnen
Die Skip Connections von ResNets machten extreme Tiefe trainierbar, indem sie Blöcke Residuen lernen ließen. Eine einzige Addition veränderte alles. Große Fortschritte!
Lerne Python mit einem KI-Tutor — kostenlos
Schreibe und führe echten Code in deinem Browser aus, bekomme sofortige Hilfe von einem 24/7 KI-Tutor und setze dein Lernen im Web oder in der App fort.
- Kurse
- 30
- Lektionen
- 120
Häufig gestellte Fragen
Ist die Lektion „ResNet: Skip Connections gehen in die Tiefe“ kostenlos?
Ja — der vollständige Text von „ResNet: Skip Connections gehen in die Tiefe“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Deep Learning Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Deep Learning Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „ResNet: Skip Connections gehen in die Tiefe“?
Residuals, die verschwindende Gradienten überwinden. Du übst Deep Learning Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Deep Learning Academy zu starten?
Keine Vorkenntnisse erforderlich. Deep Learning Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 3 von 4.
Wie lange dauert die Lektion „ResNet: Skip Connections gehen in die Tiefe“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Deep Learning Academy-Lektion Code schreiben und ausführen?
Ja. Jede Deep Learning Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- LeNet und AlexNet: Die ersten Erfolge
- VGG: Stapel kleiner Filter
- ResNet: Skip Connections gehen in die Tiefe
- torchvision-Modelle laden