Öz-Dikkat Adım Adım

Kendine dikkat mekanizmasında her sözcük, kendisinin daha zengin ve bağlama duyarlı bir sürümünü oluşturmak için aynı cümledeki diğer tüm sözcüklere bakar. 🔍

Her sözcük üç vektöre dönüştürülür: bir sorgu, bir anahtar ve bir değer. Bu üç rol, kendine dikkat hesaplamasının tamamını yönlendirir.

Sorgu, bir sözcüğün ne aradığını temsil eder. Bunu, bu sözcüğün cümlenin geri kalanı hakkında sorduğu soru gibi düşünebilirsiniz.

Her sözcük ayrıca, içerdiği şeyi duyuran bir anahtar ve seçilmesi durumunda aktarılacak asıl bilgiyi taşıyan bir değer sunar.

Bir sorguyu her anahtarla nokta çarpımı kullanarak karşılaştırın. Daha büyük çarpım, sorgu ile anahtarın daha iyi örtüştüğü ve bu sözcüğün daha fazla odaklanmayı hak ettiği anlamına gelir.

Puanları anahtar boyutunun kareköküne bölün. Bu ölçeklendirme, sayıları kararlı tutar ve softmax'ın aşırı keskinleşmesini önler.

Ölçeklendirilmiş puanları softmax'tan geçirerek pozitif olan ve cümledeki tüm sözcükler boyunca toplamı 1'e eşit olan dikkat ağırlıklarını elde edin.

Her değeri ağırlığıyla çarpıp hepsini toplayın. Sonuç, en ilgili kelimelerden gelen bilgileri harmanlayan yeni bir vektördür.

Tüm adımlar, Transformer makalesinde tanıtıldığı gibi sorgular, anahtarlar ve değerler üzerinde uygulanan tek ve düzenli bir ifadede, yani ölçeklendirilmiş nokta çarpımı dikkatinde birleşir.

Buna öz-dikkat denir; çünkü sorgular, anahtarlar ve değerlerin tümü aynı diziden gelir ve kelimelerin kendi komşularına dikkat etmesini sağlar.

"it was tired" ifadesinde öz-dikkat, yakındaki kelimelere ağırlık vererek it sözcüğünü doğru isimle ilişkilendirir ve her belirtece daha açık bir bağlam kazandırır.

Öz-dikkat sürecini adım adım gördünüz: kelimeleri sorgulara, anahtarlara ve değerlere dönüştürmek, puanlamak, ölçeklendirmek, softmax uygulamak ve ardından değerleri harmanlamak. İşte mekanizma budur. ⚙️