Deep Learning Academy · レッスン

ResNet：スキップ接続で深くする

勾配消失を克服する残差接続を学びます

「ResNet：スキップ接続で深くする」はCoddyKit上の無料Deep Learning Academyレッスンです。これはレッスン3/4です。下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。これはDeep Learning Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 Deep Learning Academyコースには全4レッスンが含まれています。

このレッスンの一部はまだ翻訳されておらず、英語で表示されています。

Deeper Got Worse

Surprisingly, plain nets past a point trained worse as they got deeper. More layers should not hurt, yet they did. Something was broken.

The Real Culprit

Gradients shrank as they flowed back through many layers, a problem called vanishing gradients. Deep nets stopped learning.

The Skip Connection

ResNets fix is elegant: add a shortcut that lets the input jump past a block and add itself to the output.

Learn the Residual

Instead of learning the full mapping, each block only learns the residual, the small change to add on top of the input.

Easy to Stay Still

If a block is not useful, it can just learn zeros and pass the input straight through. Doing nothing becomes effortless.

A Gradient Highway

The shortcut gives gradients a clean path backward, so even very deep networks keep learning.

The Residual Block

A block computes some layers, then adds the original input back. That single add is the whole trick.

def forward(self, x):
    out = self.conv_layers(x)
    return self.relu(out + x)

Going Very Deep

With shortcuts, ResNet trained 50, 101, even 152 layers and won ImageNet 2015. Depth finally paid off.

The Bottleneck Block

Deeper ResNets use a 1x1, 3x3, 1x1 bottleneck to cut compute while keeping representational power.

Identity Everywhere

This residual idea spread far beyond vision. Transformers and many modern nets rely on the same identity shortcut.

A Tiny ResNet Block

You can sketch the core in a few lines: convolve, then add the input back before the activation. Here is the shape of it.

out = bn(conv(x))
out = relu(out + x)  # the skip connection

Quick Check

Focus on what the skip connection actually achieves.

Recap: Shortcuts Win

ResNets skip connections made extreme depth trainable by letting blocks learn residuals. One add changed everything. Great progress!

よくある質問

「ResNet：スキップ接続で深くする」レッスンは無料ですか？

はい。「ResNet：スキップ接続で深くする」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、Deep Learning Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 Deep Learning Academyコースには全4レッスンが含まれています。

「ResNet：スキップ接続で深くする」で何を学びますか？

勾配消失を克服する残差接続を学びますブラウザで直接実行するハンズオンコードでDeep Learning Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

Deep Learning Academyを始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのDeep Learning Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。これはレッスン3/4です。

「ResNet：スキップ接続で深くする」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このDeep Learning Academyレッスンでコードを書いて実行できますか？

はい。すべてのDeep Learning Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

← Deep Learning Academyに戻る