Dropout: Gugurkan Neuron Secara Rawak
Paksa lebihan untuk pengitlakan.
Dropout: Gugurkan Neuron Secara Rawak ialah pelajaran Deep Learning Academy percuma di CoddyKit. Ini ialah pelajaran 2 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Deep Learning Academy, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Deep Learning Academy merangkumi sejumlah 4 pelajaran.
Perkara yang Dilakukan Dropout
Dropout mematikan sesetengah neuron secara rawak pada setiap langkah latihan, supaya rangkaian tidak terlalu bergantung pada mana-mana unit tunggal. 🎲
Mengapa Pengguguran Rawak Membantu
Dengan menggugurkan neuron secara rawak, dropout memaksa rangkaian membina laluan berlebihan, lalu menyebarkan pengetahuan dan meningkatkan generalisasi.
Kadar Dropout
Kadar dropout p ialah kebarangkalian setiap neuron digugurkan. Nilai seperti 0.5 bermaksud kira-kira separuh unit disenyapkan pada setiap langkah.
Tambahkannya dalam PyTorch
Anda menambah dropout menggunakan satu lapisan. Letakkan nn.Dropout antara lapisan linear untuk mengawal pengaktifan yang mengalir melaluinya.
self.drop = nn.Dropout(p=0.5)
x = self.drop(torch.relu(self.fc1(x)))Pengguguran Berubah pada Setiap Langkah
Setiap laluan ke hadapan menggugurkan set neuron rawak yang berbeza, jadi model sebenarnya melatih himpunan besar rangkaian yang lebih kecil.
Penskalaan Mengekalkan Keseimbangan
Untuk mengekalkan isyarat purata, PyTorch menskalakan pengaktifan yang masih hidup semasa latihan, supaya output pada masa ujian kekal seimbang.
Matikannya Semasa Penilaian
Dropout mesti dinyahdayakan semasa penilaian. Memanggil model.eval() mematikannya supaya setiap neuron menyumbang kepada ramalan.
model.eval()
with torch.no_grad():
preds = model(x_val)Memilih Kadar
Kadar yang biasa digunakan adalah antara 0.2 hingga 0.5. Nilai yang lebih tinggi memberikan lebih banyak pengawalan, tetapi boleh menyebabkan rangkaian kekurangan isyarat jika terlalu tinggi.
Tempat Meletakkannya
Letakkan dropout pada lapisan tersembunyi yang lebar, iaitu tempat terlebih suai paling ketara. Ia jarang digunakan tepat sebelum output akhir.
Dropout dan CNN
Untuk ciri konvolusi, dropout biasa kurang membantu. Banyak rangkaian penglihatan lebih mengutamakan Dropout2d atau bergantung pada normalisasi kelompok.
Alat Murah yang Berkesan
Dropout tidak menambah parameter tambahan dan hampir tiada kos, namun ia ialah salah satu cara paling boleh dipercayai untuk mengecilkan jurang latihan/pengesahan.
Semakan Pantas
Fikirkan perkara yang patut dilakukan oleh dropout apabila anda menilai model.
Rumusan
Anda telah mengenali dropout: menyenyapkan neuron secara rawak semasa latihan untuk memaksa lebihan, kemudian mematikannya semasa penilaian bagi mendapatkan ramalan yang lengkap dan stabil. ✅
Pelajari Python dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Soalan Lazim
Adakah pelajaran “Dropout: Gugurkan Neuron Secara Rawak” percuma?
Ya — teks penuh “Dropout: Gugurkan Neuron Secara Rawak” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus Deep Learning Academy, tingkat taraf kepada CoddyKit PRO. Kursus Deep Learning Academy merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Dropout: Gugurkan Neuron Secara Rawak”?
Paksa lebihan untuk pengitlakan. Anda berlatih Deep Learning Academy menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Deep Learning Academy?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Deep Learning Academy di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 2 daripada 4.
Berapa lamakah pelajaran “Dropout: Gugurkan Neuron Secara Rawak” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Deep Learning Academy ini?
Ya. Setiap pelajaran Deep Learning Academy menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Baca Jurang Latihan dan Pengesahan
- Dropout: Gugurkan Neuron Secara Rawak
- Norm Kelompok dan Norm Lapisan
- Penambahan Data sebagai Data Percuma