Kendine Dikkat: Sorgu, Anahtar ve Değer
Her belirtecin diğer tüm belirteçlere bakmasına izin verin.
Kendine Dikkat: Sorgu, Anahtar ve Değer, CoddyKit'te ücretsiz bir Deep Learning Academy dersidir. Bu, 4 dersinin 1. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Deep Learning Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Deep Learning Academy kursu toplamda 4 dersten oluşur.
Konuşan Belirteçler
Bir dizide, bir kelimenin anlamı diğer kelimelere bağlıdır. Öz-dikkat, ihtiyaç duyduğu bağlamı toplamak için her belirtecin diğer tüm belirteçlere bakmasını sağlar.
Belirteç Başına Üç Rol
Her belirteç üç rol üstlenir: soru soran bir sorgu, yanıtlayan bir anahtar ve içeriği taşıyan bir değer. Bunların üçü de aynı kelimeden gelir ve üç farklı şekilde kullanılır.
Sorgu
Bir belirtecin sorgusu, ne aradığını açıklar. Bunu, bu kelimenin cümlenin geri kalanıyla ilgili sorduğu soru olarak düşünebilirsiniz.
Anahtar
Her belirteç ayrıca, sunduğunu gösteren bir etiket olan bir anahtar sunar. İyi eşleşmeleri bulmak için bir sorgu tüm anahtarlarla karşılaştırılır.
Değer
Bir eşleşme bulunduğunda değer, aktarılan gerçek bilgidir. Anahtar ne kadar aktarılacağını, değer ise neyin aktarılacağını belirler.
Q, K, V Oluşturma
Sorguları, anahtarları ve değerleri, girdiyi öğrenilmiş üç linear katmandan geçirerek oluşturursunuz. Aynı girdi, üç farklı ağırlık matrisi.
q = self.W_q(x)
k = self.W_k(x)
v = self.W_v(x)Benzerliğe Göre Puanlama
Bir sorgunun bir anahtarla ne kadar iyi eşleştiğini görmek için ikisinin nokta çarpımını alırsınız. Daha büyük bir puan, iki belirtecin birbiriyle daha ilgili olduğu anlamına gelir.
scores = q @ k.transpose(-2, -1)Puanlardan Ağırlıklara
Ham puanlar, softmax ile dikkat ağırlıklarına dönüştürülür; böylece her sorgunun ağırlıkları pozitif olur ve tüm anahtarlar boyunca toplamları bire eşitlenir.
weights = scores.softmax(dim=-1)Değerleri Harmanlama
Her belirtecin çıktısı, dikkat ağırlıklarıyla harmanlanan tüm değerlerin ağırlıklı toplamıdır. İlgili belirteçler daha fazla katkıda bulunur.
out = weights @ vRNN'lerden Neden Daha İyi
Öz-dikkat, herhangi iki belirteci tek adımda birbirine bağlar; bu nedenle aradaki uzaklık önem taşımaz. Bu paralel bakış, dönüştürücülerin uzun bağlamları neden bu kadar iyi işlediğini açıklar.
Öğrenilmiş, Sabit Değil
Q, K, V yansıtma işlemleri gradyan inişiyle eğitilir. Ağ, ne soracağını, ne sunacağını ve neyi paylaşacağını tamamen verilerden öğrenir.
Kısa Kontrol
Dikkatin parçalarını nasıl birleştirdiğini test edelim.
Özet
Öz-dikkatin her belirteci bir sorguya, anahtara ve değere dönüştürdüğünü, sorgu-anahtar eşleşmelerini puanladığını ve değerleri softmax ağırlıklarıyla harmanladığını öğrendiniz. Harika iş!
Sıkça Sorulan Sorular
“Kendine Dikkat: Sorgu, Anahtar ve Değer” dersi ücretsiz mi?
Evet — “Kendine Dikkat: Sorgu, Anahtar ve Değer” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Deep Learning Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Deep Learning Academy kursu toplamda 4 dersten oluşur.
“Kendine Dikkat: Sorgu, Anahtar ve Değer” dersinde ne öğreneceğim?
Her belirtecin diğer tüm belirteçlere bakmasına izin verin. Deep Learning Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Deep Learning Academy öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Deep Learning Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 1. dersidir.
“Kendine Dikkat: Sorgu, Anahtar ve Değer” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Deep Learning Academy dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Deep Learning Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Kendine Dikkat: Sorgu, Anahtar ve Değer
- Ölçeklendirilmiş Nokta Çarpımı ve Çok Başlılık
- Sıra için Konumsal Kodlama
- Bir Transformer Kodlayıcı Bloğu Oluşturma