Tensör Çekirdekleri Ne Hesaplar

Bir Tensor Core, modern NVIDIA GPU'larında tek bir işi olağanüstü hızla yapmak üzere tasarlanmış özel bir donanım birimidir: küçük matris matematiği. 🚀

Tensor Core'lar matris çarpma-toplama işlemini, D = A çarpı B artı C biçiminde hesaplar. Çarpma ve toplamanın tamamını tek seferde yaparlar.

Tek bir sayı yerine, bir Tensor Core her çevrimde küçük bir matris karosu işler. Bu nedenle, düz bir çekirdeğin eleman eleman yaptığı işi çok daha hızlı gerçekleştirir.

Çarpma ve toplama işlemleri birleştirilmiş olarak gerçekleşir; böylece ara çarpım kendi başına yuvarlanmaz. Bu, iki ayrı adıma kıyasla daha yüksek doğruluk sağlar.

Derin öğrenme ve grafik işlemleri matris çarpımlarıyla doludur. Tensor Core'ların varlık nedeni, bu tek işlemin pek çok gerçek iş yüküne hâkim olmasıdır.

D = A çarpı B artı C ifadesindeki C, çalışan bir toplamı korumanızı sağlar. Bu biriktirici, büyük sonuçların çok sayıda küçük karodan oluşturulmasını sağlar.

Tensor Core, matris işlemlerinde sıradan CUDA çekirdeklerinin aktarım hızının birçok katına ulaşabilir; çünkü tam bir karo çarpımını tek bir komuta sığdırır.

Tensor Core'lar çoğu zaman düşük duyarlıklı girdiler alır, ancak daha yüksek duyarlıklı bir biriktirici kullanır. Çarpma işleminde hız, çalışan toplamda ise güvenilirlik elde edersiniz.

Tensor Core'lar Volta mimarisiyle ortaya çıktı ve Turing, Ampere ve Hopper ile gelişti. Her nesil karoları genişletti ve yeni biçimler ekledi.

Tensor Core'lar yalnızca yaptığınız iş matris çarpımına benziyorsa yardımcı olur. Basit bir vektör toplama veya skaler döngü onlara hiç dokunmaz.

Tensor Core'lara kütüphaneler veya WMMA API'si üzerinden erişirsiniz. Bu çağrı biçimi, ileride yazacağınız çarpma-birikim işlemidir.

Bir Tensor Core'un, derin öğrenmenin temelindeki matris işlemleri için ideal olan, karo boyutundaki tam bir matris çarpma-birikimini tek ve hızlı adımda birleştirdiğini öğrendiniz. Sıradaki konu: duyarlık biçimleri. 🎉