Nokta Çarpımları Her Katmana Güç Verir

Bir sinir ağını en temel hâline indirgediğinizde aynı işlemin tekrarlandığını görürsünüz: iki vektörün eşleşen çarpımlarının toplamı olan nokta çarpımı.

Bir nokta çarpımı, her girdiyi karşılık gelen ağırlığıyla çarpar ve sonuçları tek bir sayıda toplar. Bu sayı, nöronun verdiği yanıttır.

Yan yana duran bir girdi vektörü ile ağırlık vektörü düşünün. Nokta çarpımı, bu girdilerin nöronun önem verdiği şeylerle ne kadar güçlü hizalandığını gösterir.

Nöron, nokta çarpımından sonra bir yanlılık ekler; böylece her girdi sıfır olsa bile çıktısını yukarı veya aşağı kaydırabilir.

Girdiler çarpı ağırlıklar, toplanır ve yanlılık eklenir: bu ağırlıklı toplam, tek bir nöronun bir satırda yazılan tüm doğrusal kısmıdır.

Ağırlık vektörlerini bir matriste üst üste yerleştirdiğinizde tek bir matmul, katmandaki tüm nöronları birlikte hesaplar. Katman, nokta çarpımlarından oluşan bir topluluktur.

PyTorch bu yapıyı nn.Linear olarak sunar. Ağırlık matrisini ve yanlılığı saklar, her çağrıda bu matmul artı yanlılık işlemini sizin için gerçekleştirir.

Büyük ve pozitif bir nokta çarpımı, girdinin nöron ağırlıklarıyla yakından hizalandığı anlamına gelir. Negatif değer ise zıt yönleri gösterir.

Gerçek bir katman, her örnek için binlerce nokta çarpımı çalıştırır. Bunu uygulanabilir kılan tek şey vektörleştirilmiş matmul'dur; döngülerin geride bırakılmasının nedeni budur.

Ağırlıklı toplam tek başına doğrusaldır. Onu ReLU gibi bir etkinleştirmeden geçirdiğinizde nöron, gerçek öğrenmenin gerektirdiği doğrusal olmayan özelliği kazanır.

Yavaş döngülerden hızlı vektörlere, oradan matmul'a geldiniz ve hepsi burada birleşiyor: nokta çarpımı, her sinir katmanının kalp atışıdır.

Her katman nokta çarpımlarından oluşur: girdiler ağırlıklarla çarpılır, toplanır, matmul ile toplu hâlde işlenir ve bir etkinleştirmeyle tamamlanır. Derin öğrenme matematiği budur. 🚀