ResNet: Koneksi Lompatan Menjadi Dalam

Yang mengejutkan, jaringan biasa yang melewati titik tertentu dilatih dengan lebih buruk saat dibuat semakin dalam. Semestinya lebih banyak layer tidak merugikan, tetapi kenyataannya demikian. Ada sesuatu yang broken.

Gradien mengecil saat mengalir mundur melalui banyak layer, sebuah masalah yang disebut vanishing gradients. Jaringan mendalam pun berhenti belajar.

Solusi ResNets sangat elegan: tambahkan shortcut yang memungkinkan input melewati sebuah blok, lalu menambahkannya ke output.

Alih-alih mempelajari pemetaan lengkap, setiap blok hanya mempelajari residual, yaitu perubahan kecil yang ditambahkan di atas input.

Jika sebuah blok tidak berguna, blok tersebut cukup mempelajari angka nol dan meneruskan input secara langsung. Tidak melakukan nothing menjadi hal yang mudah.

Shortcut memberikan jalur yang bersih bagi gradien untuk mengalir mundur, sehingga bahkan networks yang sangat dalam tetap dapat belajar.

Sebuah blok menghitung beberapa layer, lalu menambahkan kembali input asli. Satu operasi add itulah seluruh triknya.

Dengan shortcut, ResNet dapat dilatih hingga 50, 101, bahkan 152 layer dan memenangkan ImageNet 2015. Depth akhirnya memberikan hasil.

ResNet yang lebih dalam menggunakan bottleneck 1x1, 3x3, 1x1 untuk mengurangi komputasi sambil mempertahankan kemampuan representasi.

Gagasan residual ini menyebar jauh melampaui visi komputer. Transformer dan banyak jaringan modern mengandalkan shortcut identity yang sama.

Anda dapat menggambarkan inti model ini dalam beberapa baris: lakukan konvolusi, lalu tambahkan kembali input sebelum aktivasi. Berikut shape-nya.

skip connections pada ResNets membuat pelatihan dengan kedalaman ekstrem menjadi mungkin dengan memungkinkan blok mempelajari residual. Satu operasi penambahan mengubah semuanya. Kemajuan yang hebat!