Norm Kelompok dan Norm Lapisan
Stabilkan pengaktifan untuk melatih rangkaian lebih mendalam.
Norm Kelompok dan Norm Lapisan ialah pelajaran Deep Learning Academy percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Deep Learning Academy, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Deep Learning Academy merangkumi sejumlah 4 pelajaran.
Mengapa Pengaktifan Dinormalkan
Apabila isyarat mengalir melalui lapisan, skalanya berubah-ubah dan latihan menjadi perlahan. Normalisasi mengekalkan pengaktifan dalam julat yang stabil dan terkawal. ⚖️
Normalisasi Kelompok dalam Satu Baris
Normalisasi kelompok menskalakan semula setiap ciri menggunakan min dan varians yang dikira merentas kelompok mini semasa.
Tambah Normalisasi Kelompok
Anda menambah lapisan normalisasi kelompok selepas lapisan linear atau konvolusi. Gunakan nn.BatchNorm1d untuk ciri padat dan BatchNorm2d untuk imej.
self.bn = nn.BatchNorm1d(128)
x = torch.relu(self.bn(self.fc(x)))Skala dan Anjakan yang Boleh Dipelajari
Normalisasi kelompok menambah dua parameter boleh latih, gamma dan beta, supaya rangkaian boleh menskalakan dan menganjak output yang dinormalkan mengikut keperluan.
Membolehkan Anda Melatih Rangkaian Lebih Dalam
Dengan menstabilkan pengaktifan, normalisasi kelompok membolehkan kadar pembelajaran yang lebih tinggi dan rangkaian yang lebih dalam, yang sebaliknya sukar dilatih.
Statistik Latihan berbanding Penilaian
Semasa latihan, normalisasi kelompok menggunakan statistik kelompok; semasa penilaian, ia beralih kepada purata bergerak, jadi panggil model.eval() sebelum menguji.
Saiz Kelompok Penting
Normalisasi kelompok bergantung pada kelompok. Dengan kelompok yang sangat kecil, statistik menjadi bising dan manfaatnya boleh hilang.
Memperkenalkan Normalisasi Lapisan
Normalisasi lapisan menormalkan merentas ciri bagi satu sampel, jadi ia langsung tidak bergantung pada kelompok.
Tambah Normalisasi Lapisan
Normalisasi lapisan sangat berguna dalam pengubah dan RNN. Anda menambahkannya dengan nn.LayerNorm, sambil memberikan saiz ciri yang hendak dinormalkan.
self.ln = nn.LayerNorm(256)
x = self.ln(x)Tingkah Laku Sama dalam Kedua-dua Mod
Oleh sebab normalisasi lapisan menggunakan statistik bagi setiap sampel, ia berkelakuan sama semasa latihan dan penilaian, menjadikannya sesuai untuk saiz kelompok yang berubah-ubah.
Yang Mana Patut Dipilih
Gunakan normalisasi kelompok dalam model penglihatan konvolusi dan normalisasi lapisan dalam model jujukan serta pengubah, apabila kelompok dan panjang berubah-ubah.
Semakan Pantas
Ingat perbezaan utama antara kedua-dua gaya normalisasi ini.
Rumusan
Anda telah membandingkan normalisasi: normalisasi kelompok menggunakan statistik kelompok dan membantu CNN, manakala normalisasi lapisan berfungsi bagi setiap sampel dan menggerakkan pengubah. 🚀
Pelajari Python dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Soalan Lazim
Adakah pelajaran “Norm Kelompok dan Norm Lapisan” percuma?
Ya — teks penuh “Norm Kelompok dan Norm Lapisan” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus Deep Learning Academy, tingkat taraf kepada CoddyKit PRO. Kursus Deep Learning Academy merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Norm Kelompok dan Norm Lapisan”?
Stabilkan pengaktifan untuk melatih rangkaian lebih mendalam. Anda berlatih Deep Learning Academy menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Deep Learning Academy?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Deep Learning Academy di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.
Berapa lamakah pelajaran “Norm Kelompok dan Norm Lapisan” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Deep Learning Academy ini?
Ya. Setiap pelajaran Deep Learning Academy menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Baca Jurang Latihan dan Pengesahan
- Dropout: Gugurkan Neuron Secara Rawak
- Norm Kelompok dan Norm Lapisan
- Penambahan Data sebagai Data Percuma