Bir Transformer Kodlayıcı Bloğu Oluşturma
Dikkat, ileri besleme ve normalleştirmeler.
Bir Transformer Kodlayıcı Bloğu Oluşturma, CoddyKit'te ücretsiz bir Deep Learning Academy dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Deep Learning Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Deep Learning Academy kursu toplamda 4 dersten oluşur.
Yapı Taşı
Bir dönüştürücü, tekrarlanan tek bir kodlayıcı bloğundan ibarettir. Bloğu öğrenirseniz küçük modellerden dev modellere kadar tüm yapıyı anlarsınız.
İki Alt Katman
Her blok iki bölümden oluşur: bir çok başlı dikkat alt katmanı ve ardından küçük bir ileri beslemeli ağ. Her ikisi de artık bağlantıları ve normalizasyonla sarılır.
Önce Dikkat
Blok, herhangi bir ek işlem yapılmadan önce her belirtecin dizinin geri kalanından bağlam almasını sağlayan öz-dikkat ile başlar.
attn_out, _ = self.attn(x, x, x)Artık Bağlantısı
Bir artık bağlantısı, alt katmanın girdisini çıktısına geri ekler. Bu kısa yol gradyanların akmasını sağlar ve derin yığınların eğitilebilir kalmasına yardımcı olur.
x = x + attn_outKatman Normalizasyonu
Artık değer eklendikten sonra katman normalizasyonu, her belirtecin özelliklerini kararlı bir dağılıma yeniden ölçekler ve katmanlar boyunca eğitimi dengeler.
x = self.norm1(x)İleri Beslemeli Ağ
Sırada konum bazlı bir ileri beslemeli ağ vardır: daha geniş bir gizli boyuta genişletin, doğrusal olmayan bir işlev uygulayın ve ardından tekrar küçültün.
ff = nn.Sequential(nn.Linear(d, 4*d), nn.GELU(), nn.Linear(4*d, d))Belirteç Başına İşleme
İleri beslemeli katman her belirteci bağımsız olarak ele alır. Dikkat bilgiyi paylaştı; bu adım ise her belirteci kendi başına geliştirir.
İkinci Artık Bağlantısı ve Normalizasyon
İleri beslemeli çıktıya da aynı işlem uygulanır: bir artık ekleme ve ardından başka bir katman normalizasyonu ile blok tamamlanır.
x = self.norm2(x + ff(x))Derin Bir Şekilde Yığınlama
Birbirinin aynısı olan çok sayıda bloğu üst üste koyduğunuzda model, katman katman daha zengin temsiller oluşturur. Dönüştürücülerin gücü derinlikten gelir.
layers = nn.ModuleList([Block(d) for _ in range(N)])Ön Normalizasyon ve Son Normalizasyon
Birçok modern model, her alt katmandan sonra yerine önce katman normalizasyonu uygular. Ön-normalizasyon, çok derin yığınlarda daha kararlı eğitim sağlar.
Yerleşik Olanı Kullanma
PyTorch size nn.TransformerEncoderLayer ve nn.TransformerEncoder sınıflarını sunar; böylece yalnızca birkaç satırda eksiksiz bir yığın oluşturabilirsiniz.
layer = nn.TransformerEncoderLayer(d_model, nhead)
enc = nn.TransformerEncoder(layer, num_layers=6)Hızlı Kontrol
Bir kodlayıcı bloğunun parçalarını gözden geçirelim.
Özet
Bir kodlayıcı bloğu oluşturdunuz: dikkat, artık bağlantı, normalizasyon, ileri beslemeli katman, artık bağlantı, normalizasyon. Bunu derinlemesine üst üste eklediğinizde bir dönüştürücünüz olur. Harika iş çıkardınız!
Sıkça Sorulan Sorular
“Bir Transformer Kodlayıcı Bloğu Oluşturma” dersi ücretsiz mi?
Evet — “Bir Transformer Kodlayıcı Bloğu Oluşturma” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Deep Learning Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Deep Learning Academy kursu toplamda 4 dersten oluşur.
“Bir Transformer Kodlayıcı Bloğu Oluşturma” dersinde ne öğreneceğim?
Dikkat, ileri besleme ve normalleştirmeler. Deep Learning Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Deep Learning Academy öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Deep Learning Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.
“Bir Transformer Kodlayıcı Bloğu Oluşturma” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Deep Learning Academy dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Deep Learning Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Kendine Dikkat: Sorgu, Anahtar ve Değer
- Ölçeklendirilmiş Nokta Çarpımı ve Çok Başlılık
- Sıra için Konumsal Kodlama
- Bir Transformer Kodlayıcı Bloğu Oluşturma