İleri Geçiş Önbellekler, Geri Geçiş Yeniden Kullanır
Etkinleştirmelerin ileri geçiş sırasında neden saklandığı.
İleri Geçiş Önbellekler, Geri Geçiş Yeniden Kullanır, CoddyKit'te ücretsiz bir Deep Learning Academy dersidir. Bu, 4 dersinin 2. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Deep Learning Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Deep Learning Academy kursu toplamda 4 dersten oluşur.
İki Geçiş, Tek Amaç
Her yığının eğitimi iki geçiş gerçekleştirir: tahmin yapmak ve kaybı hesaplamak için bir ileri geçiş, ardından gradyanları hesaplamak için bir geri geçiş. Bu ikisi birlikte çalışır.
İleri Geçiş Değerleri Hesaplar
İleri giderken her katman girdisini çıktıya dönüştürür ve bunu bir sonraki katmana gönderir. Sonunda bir tahmin ve tek bir kayıp sayısı elde edersiniz.
Geri Geçiş İleri Geçiş Değerlerine İhtiyaç Duyar
Bir katmanın gradyanını hesaplamak için zincir kuralı, katmanın ileri giderken ürettiği etkinleştirmelere ihtiyaç duyar. Bu değerler isteğe bağlı değildir.
Bu Yüzden Onları Önbelleğe Alırız
Ağ, ileri geçiş sırasında her katmanın girdilerini ve çıktılarını bellekte sessizce önbelleğe alır; bunlar geri geçişte kullanılmaya hazırdır. 💾
Somut Bir Örnek
Bir katmanın türevi çoğu zaman kendi çıktısını yeniden kullanır. Sigmoid için gradyan, kaydedilmiş çıktı değerine bağlıdır; bu nedenle onu önbelleğe almak yeniden hesaplamayı önler.
sigmoid_grad = saved_output * (1 - saved_output)Geri Geçiş Önbelleği Yeniden Kullanır
Geri geçiş katmanları ters sırayla dolaşır ve her katmanda, gradyanla çarpmak için karşılık gelen önbelleğe alınmış değerleri alır. Hiçbir şey yeniden hesaplanmaz.
Önbellek Bellek Maliyeti Getirir
Her etkinleştirmenin saklanması, derin bir ağı eğitmenin yalnızca tahmin çalıştırmaktan çok daha fazla bellek kullanmasının nedenidir. Daha büyük ağlar daha büyük önbellekler gerektirir.
Çıkarım Önbelleği Atlar
Yalnızca tahminlere ihtiyaç duyduğunuzda geri geçiş yapılmaz; bu nedenle PyTorch önbelleği tamamen atlar. Çıkarımın belleği daha az kullanmasının nedeni budur.
with torch.no_grad():
preds = model(x)PyTorch Bunu Sizin İçin Yapar
requires_grad özelliğine sahip bir tensor üzerindeki her işlem, ihtiyaç duyduğu şeyleri hesaplama grafiğine kaydeder ve siz ilerledikçe önbelleği otomatik olarak oluşturur.
Tek Bir Geri Geçiş Onu Serbest Bırakır
Varsayılan olarak backward() çağırmak, önbelleğe alınmış grafiği kullanır ve serbest bırakır. Bu nedenle aynı grafik üzerinde ikinci bir backward() çağrısı hata oluşturur.
loss.backward()Bu Tasarım Neden Avantajlıdır
İleri geçiş değerlerini önbelleğe almak, her gradyanı yeniden hesaplamak yerine ucuz bir arama ve çarpma işlemine dönüştürür; böylece geri yayılım hızlı ve kesin olur.
Hızlı Kontrol
Önbellek fikrini kontrol edelim.
Özet
İleri geçiş etkinleştirmeleri önbelleğe alır, geri geçiş de gradyanları oluşturmak için bunları yeniden kullanır. Belleği hız karşılığında kullanma dengesi, geri yayılımı uygulanabilir kılar. 💾
Sıkça Sorulan Sorular
“İleri Geçiş Önbellekler, Geri Geçiş Yeniden Kullanır” dersi ücretsiz mi?
Evet — “İleri Geçiş Önbellekler, Geri Geçiş Yeniden Kullanır” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Deep Learning Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Deep Learning Academy kursu toplamda 4 dersten oluşur.
“İleri Geçiş Önbellekler, Geri Geçiş Yeniden Kullanır” dersinde ne öğreneceğim?
Etkinleştirmelerin ileri geçiş sırasında neden saklandığı. Deep Learning Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Deep Learning Academy öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Deep Learning Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 2. dersidir.
“İleri Geçiş Önbellekler, Geri Geçiş Yeniden Kullanır” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Deep Learning Academy dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Deep Learning Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Katman Katman Zincir Kuralı
- İleri Geçiş Önbellekler, Geri Geçiş Yeniden Kullanır
- Küçük Bir Ağda Geri Yayılımı Elle Yapın
- Kaybolan ve Patlayan Gradyanlar