Sigmoid dan Tanh: Memampatkan kepada Julat
Output terhad dan perangkap kecerunan yang lenyap.
Sigmoid dan Tanh: Memampatkan kepada Julat ialah pelajaran Deep Learning Academy percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Deep Learning Academy, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Deep Learning Academy merangkumi sejumlah 4 pelajaran.
Pengaktifan Pemampat
Sesetengah pengaktifan memampatkan sebarang masukan ke dalam julat tetap. Dua yang klasik ialah sigmoid dan tanh, dan kedua-duanya membengkokkan nombor besar perlahan-lahan ke dalam. 🤏
Julat Sigmoid
Sigmoid memetakan setiap nilai ke dalam julat terbuka daripada 0 hingga 1. Hal ini menjadikan keluarannya secara semula jadi boleh dibaca sebagai kebarangkalian.
import torch
y = torch.sigmoid(x) # outputs between 0 and 1Lengkung Berbentuk S
Sigmoid mempunyai bentuk S yang licin: berhampiran sifar ia berubah dengan pantas, tetapi semakin jauh ia semakin mendatar. Masukan besar semuanya dipetakan kepada nilai yang hampir sama.
Julat Tanh
Tanh ialah saudara sigmoid, tetapi ia memampatkan masukan ke dalam julat daripada tolak 1 hingga tambah 1, dengan pusat yang kemas pada sifar.
y = torch.tanh(x) # outputs between -1 and 1Mengapa Pemusatan Membantu
Oleh sebab tanh berpusat pada sifar, keluarannya seimbang di sekitar sifar. Hal ini sering memberikan pembelajaran yang lebih lancar dan pantas berbanding sigmoid untuk lapisan tersembunyi.
Hujung yang Mendatar
Di bahagian tepi, kedua-dua lengkung hampir mendatar sepenuhnya. Rantau yang mendatar bermaksud kecerunan kecil, dan kecerunan kecil bermaksud kecerunan yang kecil.
Kecerunan yang Hilang
Apabila kecerunan mengecil menghampiri sifar, lapisan awal hampir tidak dikemas kini. Perangkap kecerunan yang hilang ini menghentikan rangkaian mendalam semasa latihan. 😴
Mengapa ReLU Mengambil Alih
Masalah kecerunan yang hilang inilah sebabnya ReLU menggantikan sigmoid dan tanh dalam kebanyakan lapisan tersembunyi. ReLU mengekalkan kecerunan yang sihat untuk nilai positif.
Tempat Sigmoid Masih Menang
Sigmoid masih berguna pada keluaran pengelas binari, apabila anda benar-benar mahukan satu kebarangkalian antara 0 dan 1.
Tempat Tanh Masih Menang
Tanh masih muncul dalam sel berulang seperti LSTM, yang outputnya yang terhad dan berpusat pada sifar membantu memastikan keadaan tersembunyi kekal stabil.
Membuat Pilihan dengan Bijak
Peraturan umum: elakkan sigmoid dan tanh dalam tindanan tersembunyi yang mendalam, tetapi kekalkan sigmoid untuk satu output kebarangkalian. Padankan alat dengan tugasnya.
Semakan Ringkas
Ingat semula perkara yang berlaku pada hujung rata lengkung ini.
Imbas Kembali
Sigmoid memampatkan nilai kepada 0 hingga 1, manakala tanh memampatkannya kepada -1 hingga 1. Hujungnya yang rata menyebabkan kecerunan lenyap, jadi gunakannya untuk output dan sel khas sahaja. 🎯
Pelajari Python dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Soalan Lazim
Adakah pelajaran “Sigmoid dan Tanh: Memampatkan kepada Julat” percuma?
Ya — teks penuh “Sigmoid dan Tanh: Memampatkan kepada Julat” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus Deep Learning Academy, tingkat taraf kepada CoddyKit PRO. Kursus Deep Learning Academy merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Sigmoid dan Tanh: Memampatkan kepada Julat”?
Output terhad dan perangkap kecerunan yang lenyap. Anda berlatih Deep Learning Academy menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Deep Learning Academy?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Deep Learning Academy di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.
Berapa lamakah pelajaran “Sigmoid dan Tanh: Memampatkan kepada Julat” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Deep Learning Academy ini?
Ya. Setiap pelajaran Deep Learning Academy menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Mengapa Ketaklinearan Membuka Kuasa Sebenar
- ReLU serta Variasi Leaky dan GELU
- Sigmoid dan Tanh: Memampatkan kepada Julat
- Softmax untuk Kebarangkalian