Dropout: Buang Neuron Secara Acak

Dropout secara acak menonaktifkan sebagian neuron pada setiap langkah pelatihan, sehingga jaringan tidak dapat terlalu bergantung pada satu unit tertentu. 🎲

Dengan menghapus neuron secara acak, dropout memaksa jaringan membangun jalur yang berlebihan, sehingga pengetahuan tersebar dan generalisasi meningkat.

tingkat dropout p adalah peluang setiap neuron dihapus. Nilai seperti 0.5 berarti kira-kira setengah unit dinonaktifkan pada setiap langkah.

Anda menambahkan dropout dengan satu lapisan. Letakkan nn.Dropout di antara lapisan linear untuk menerapkan regularisasi pada aktivasi yang mengalir melaluinya.

Setiap lintasan maju menghapus kumpulan neuron acak yang berbeda, sehingga model secara efektif melatih sejumlah besar jaringan yang lebih ramping.

Untuk menjaga sinyal rata-rata tetap stabil, PyTorch menskalakan aktivasi yang bertahan selama pelatihan, sehingga keluaran saat pengujian tetap seimbang.

Dropout harus dinonaktifkan selama evaluasi. Memanggil model.eval() menonaktifkannya sehingga setiap neuron berkontribusi pada prediksi.

Tingkat yang umum berada antara 0.2 dan 0.5. Nilai yang lebih tinggi menerapkan regularisasi lebih kuat, tetapi dapat membuat jaringan kekurangan sinyal jika terlalu besar.

Letakkan dropout pada lapisan tersembunyi yang lebar, tempat overfitting paling parah terjadi. Dropout jarang diterapkan tepat sebelum keluaran akhir.

Untuk fitur konvolusional, dropout biasa kurang membantu. Banyak jaringan visi lebih memilih Dropout2d atau mengandalkan normalisasi batch.

Dropout tidak menambahkan parameter dan hampir tidak membutuhkan biaya komputasi, tetapi merupakan salah satu cara paling andal untuk memperkecil kesenjangan pelatihan/validasi.

Anda telah mempelajari dropout: menonaktifkan neuron secara acak selama pelatihan untuk memaksa redundansi, lalu menonaktifkannya saat evaluasi agar prediksi lengkap dan stabil. ✅