ReLU ve Leaky ve GELU Benzerleri
Varsayılan etkinleştirme ve modern çeşitleri.
ReLU ve Leaky ve GELU Benzerleri, CoddyKit'te ücretsiz bir Deep Learning Academy dersidir. Bu, 4 dersinin 2. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Deep Learning Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Deep Learning Academy kursu toplamda 4 dersten oluşur.
ReLU ile Tanışın
En popüler etkinleştirme ReLU'dur: pozitif değerleri korur ve her negatif değeri sıfıra dönüştürür. Basit ve hızlıdır. ⚡
import torch.nn.functional as F
y = F.relu(x) # max(0, x), elementwiseNeden Benimsendi
ReLU'nun hesaplanması ucuzdur ve pozitifler için gradyanı 1 gibi nettir. Bu, sinyallerin akmasını sağlar ve derin ağların hızlı eğitilmesine yardımcı olur.
Matematik
ReLU yalnızca max(0, x)'tir. Pozitif girdiler doğrudan geçer; negatifler sıfıra düzleşir. Bütün numara bu tek menteşeden ibarettir.
Ölen ReLU Sorunu
Bir nöron her zaman sıfır üretirse gradyanı da sıfır olur ve sonsuza dek öğrenmeyi bırakır. Buna ölü nöron deriz. 💀
Leaky ReLU Kurtarıyor
Leaky ReLU, negatifler için sert bir sıfır yerine küçük bir eğimin geçmesine izin verir. Bu küçük sızıntı, ölü nöronları canlı tutar.
y = F.leaky_relu(x, negative_slope=0.01)Parametrik ReLU
PReLU bir adım daha ileri gider: negatif eğimi sabitlemek yerine eğitim sırasında öğrenir. Ağ, sızıntıyı kendi ayarlar.
GELU ile Tanışın
GELU, ReLU'nun köşesini yumuşak bir eğri hâline getirir. Girdileri sert bir kesimle değil, yararlı olma olasılıklarına göre geçirir.
y = F.gelu(x)Dönüştürücüler GELU'yu Neden Sever
Dönüştürücüler gibi modern modeller GELU'yu tercih eder; çünkü yumuşak şekli daha nazik gradyanlar sağlar. Bu da çoğu zaman daha istikrarlı eğitim demektir. 🤖
SiLU ve Benzerleri
Swish olarak da adlandırılan SiLU, girdiyi kendi sigmoid'iyle çarpar. GELU gibi o da yumuşaktır ve çoğu zaman sıradan ReLU'yu geride bırakır.
Mantıklı Bir Varsayılan
Gizli katmanlar için ReLU ile başlayın; hızlı ve güvenilirdir. Ölü nöronlar görürseniz veya daha fazla yumuşaklık isterseniz Leaky ReLU ya da GELU'ya başvurun.
Katman Olarak Kullanın
Bunları yalnızca fonksiyon olarak değil, modelin içindeki modüller olarak da ekleyebilirsiniz. Böylece bunları nn.Sequential içinde zincirlemek kolaylaşır.
import torch.nn as nn
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU())Hızlı Kontrol
Her zaman negatif bölgede kalan bir nöronu düşünün.
Özet
ReLU hızlı varsayılandır, ancak nöronların ölmesine neden olabilir. Leaky ReLU, PReLU ve GELU, öğrenmenin sağlıklı kalması için negatifleri yumuşatır veya sızıntıya izin verir. 🌟
Yapay zeka eğitmeniyle Python öğren — ücretsiz
Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.
- Kurslar
- 30
- Dersler
- 120
Sıkça Sorulan Sorular
“ReLU ve Leaky ve GELU Benzerleri” dersi ücretsiz mi?
Evet — “ReLU ve Leaky ve GELU Benzerleri” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Deep Learning Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Deep Learning Academy kursu toplamda 4 dersten oluşur.
“ReLU ve Leaky ve GELU Benzerleri” dersinde ne öğreneceğim?
Varsayılan etkinleştirme ve modern çeşitleri. Deep Learning Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Deep Learning Academy öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Deep Learning Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 2. dersidir.
“ReLU ve Leaky ve GELU Benzerleri” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Deep Learning Academy dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Deep Learning Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Doğrusal Olmama Gerçek Gücü Neden Ortaya Çıkarır
- ReLU ve Leaky ve GELU Benzerleri
- Sigmoid ve Tanh: Bir Aralığa Sıkıştırma
- Olasılıklar için Softmax