Öğrenme Oranı Planları ve Isınma
Adım, kosinüs ve ısınma stratejileri.
Öğrenme Oranı Planları ve Isınma, CoddyKit'te ücretsiz bir Deep Learning Academy dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Deep Learning Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Deep Learning Academy kursu toplamda 4 dersten oluşur.
Değişen Bir Oran
Tek bir sabit öğrenme oranı, çalışmanın tamamı için nadiren idealdir. Bir çizelge oranı zaman içinde değiştirir; genellikle başlangıçta büyük, sona doğru küçük olur.
Çürüme Neden Yardımcı Olur
Başlangıçtaki büyük adımlar hızlı ilerleme sağlar. Oranı daha sonra küçültmek, modelin çevresinde sekmek yerine bir minimum noktaya tam olarak yerleşmesini sağlar.
Adımlı Çürüme
En basit çizelge adımlı çürümedir: oranı belirli sayıda dönemde bir sabit bir katsayıyla düşürür; örneğin her otuz dönemde bir yarıya indirir.
sched = torch.optim.lr_scheduler.StepLR(opt, step_size=30, gamma=0.5)Kosinüs Tavlaması
Kosinüs çizelgeleri oranı yumuşak bir eğri boyunca sıfıra doğru indirir. Nazik ve kademeli çürüme, modern ağların eğitimi için sıkça tercih edilir.
sched = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=100)Soğuk Başlangıç Sorunu
Yeni ağırlıklar hassastır. İlk adımda tam boyutlu bir oran, özellikle büyük kümeler veya derin dönüştürücüler kullanıldığında kaybı kontrolden çıkarabilir.
Isınma Kademeli Başlatır
Isınma, ilk birkaç yüz adım boyunca oranı sıfıra yakın bir değerden yukarı çıkarır. Bu nazik başlangıç, tam hıza geçmeden önce erken eğitimi kararlı tutar.
Önce Isınma, Sonra Çürüme
Klasik yöntem, çürümeyi ısınmanın ardından uygulamaktır: en yüksek orana çıkılır, ardından kosinüs eğrisi boyunca aşağı inilir. Büyük modeller için genellikle tercih edilen yöntem budur.
Çizelgeyi Adımlayın
Bir çizelge, üzerinde step() çağrısı yapana kadar hiçbir şey yapmaz. Bu çağrı genellikle her dönemde, eniyileyici ağırlıkları güncelledikten hemen sonra bir kez yapılır.
opt.step()
sched.step()Geçerli Oranı İzleyin
Eğitim sırasında geçerli öğrenme oranını kaydedin. Oranın ısındığını ve çürüdüğünü görmek, çizelgenin beklendiği zamanda çalıştığını doğrular ve hata ayıklamanıza yardımcı olur.
print(sched.get_last_lr())Düzleşmeye Dayalı Çürüme
Sonuçlara göre tepki vermeyi mi tercih edersiniz? ReduceLROnPlateau, sabit bir zaman çizelgesine gerek kalmadan oranı yalnızca doğrulama kaybı iyileşmeyi bıraktığında düşürür.
sched = torch.optim.lr_scheduler.ReduceLROnPlateau(opt)Çizelgeler Zahmetsiz Kazançtır
İyi bir çizelge, ek veri olmadan nihai doğruluğu çoğu zaman artırır. Isınma ile kosinüs çürümesi, başlangıç için güçlü ve güvenli bir varsayılandır.
Kısa Kontrol
Isınmanın ne amaçla kullanıldığını doğrulayın.
Özet
Bir çizelge, modelin düzgün biçimde yerleşmesi için öğrenme oranını zamanla küçültür; ısınma ise kararlı başlangıçlar için oranı önce kademeli olarak artırır. Isınma ile kosinüs, harika bir varsayılandır. 📉
Yapay zeka eğitmeniyle Python öğren — ücretsiz
Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.
- Kurslar
- 30
- Dersler
- 120
Sıkça Sorulan Sorular
“Öğrenme Oranı Planları ve Isınma” dersi ücretsiz mi?
Evet — “Öğrenme Oranı Planları ve Isınma” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Deep Learning Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Deep Learning Academy kursu toplamda 4 dersten oluşur.
“Öğrenme Oranı Planları ve Isınma” dersinde ne öğreneceğim?
Adım, kosinüs ve ısınma stratejileri. Deep Learning Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Deep Learning Academy öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Deep Learning Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.
“Öğrenme Oranı Planları ve Isınma” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Deep Learning Academy dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Deep Learning Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Momentumlu SGD
- Adam ve AdamW Açıklaması
- Ağırlık Çürümesi ve L2 Düzenlileştirmesi
- Öğrenme Oranı Planları ve Isınma