Adam ve AdamW Açıklaması
Uyarlamalı oranlar ve birbirinden ayrıştırılmış ağırlık çürümesi.
Adam ve AdamW Açıklaması, CoddyKit'te ücretsiz bir Deep Learning Academy dersidir. Bu, 4 dersinin 2. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Deep Learning Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Deep Learning Academy kursu toplamda 4 dersten oluşur.
Her Ağırlık İçin Bir Oran
SGD her parametre için tek bir öğrenme oranı kullanır. Adam ise her ağırlığın adım boyutunu, o ağırlığın gradyan geçmişine göre ayrı ayrı uyarlar.
İki Hareketli Ortalama
Adam iki hareketli ortalamayı izler: gradyanların ortalamasını ve karelerinin ortalamasını. Birlikte birinci ve ikinci momentleri oluştururlar.
Birinci Moment Momentumdur
Birinci moment, temelde momentum yani son gradyanların yumuşatılmış ortalamasıdır. Her ağırlığın hangi genel yönde hareket etmesi gerektiğine karar verir.
İkinci Moment Adımları Ölçeklendirir
İkinci moment, her gradyanın büyüklüğünü tahmin eder. Adam kareköküne böler; böylece gürültülü ağırlıklar daha küçük, sakin ağırlıklar ise daha büyük adımlar atar.
Betalar
İki sönümleme oranı olan betalar, bu ortalamaları genellikle 0,9 ve 0,999 değerleriyle kontrol eder. Yakın zamandaki ve daha eski gradyanların önemini dengelerler.
Yanlılık Düzeltmesi
Ortalamalar sıfırdan başladığı için ilk adımlar olduğundan küçük görünür. Adam, bunu düzeltmek için bir yanlılık düzeltmesi uygular ve güncellemelerin ilk adımdan itibaren makul olmasını sağlar.
PyTorch'ta Kullanın
Adam'ı kullanmak için tek bir satır yeterlidir. Varsayılan 0,001 öğrenme oranı çok çeşitli modellerde iyi çalışır; bu nedenle Adam oldukça popülerdir.
opt = torch.optim.Adam(model.parameters(), lr=1e-3)Adam'ın Ağırlık Çürümesi Kusuru
Klasik Adam, ağırlık çürümesini gradyana katar; uyarlamalı ölçeklendirme de bunu bozar. Sonuçta düzenlileştirme, amaçladığınızdan daha zayıf olur.
AdamW Bunu Düzeltir
AdamW, ağırlık çürümesini gradyan adımından ayırır ve doğrudan ağırlıklara uygular. Böylece çürüme temiz ve öngörülebilir bir küçülme olarak çalışır.
opt = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=0.01)Günümüzdeki Varsayılan Seçim
Transformer'lar ve çoğu büyük model için AdamW standart tercihtir. Hızlı ve güvenilir yakınsama istediğinizde önce bunu deneyin.
Uyarlamalı, Ancak Bazı Koşullarla
Adam çoğu zaman SGD'den daha hızlı eğitilir; yine de momentumlu saf SGD, görüntü görevlerinde daha iyi genelleme yapabilir. Doğruluk gerçekten önemliyse ikisini de deneyin.
Kısa Kontrol
Adam ile AdamW arasındaki farkı netleştirin.
Özet
Adam, gradyan ortalamasını ve varyansını kullanarak her ağırlık için öğrenme oranını uyarlar; AdamW ise ağırlık çürümesini sabit tutar. AdamW, günümüzde en çok tercih edilen eniyileyicidir. ⚙️
Yapay zeka eğitmeniyle Python öğren — ücretsiz
Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.
- Kurslar
- 30
- Dersler
- 120
Sıkça Sorulan Sorular
“Adam ve AdamW Açıklaması” dersi ücretsiz mi?
Evet — “Adam ve AdamW Açıklaması” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Deep Learning Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Deep Learning Academy kursu toplamda 4 dersten oluşur.
“Adam ve AdamW Açıklaması” dersinde ne öğreneceğim?
Uyarlamalı oranlar ve birbirinden ayrıştırılmış ağırlık çürümesi. Deep Learning Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Deep Learning Academy öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Deep Learning Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 2. dersidir.
“Adam ve AdamW Açıklaması” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Deep Learning Academy dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Deep Learning Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Momentumlu SGD
- Adam ve AdamW Açıklaması
- Ağırlık Çürümesi ve L2 Düzenlileştirmesi
- Öğrenme Oranı Planları ve Isınma