Hiyerarşinin Zihinsel Modeli

GPU belleğini bir piramit olarak düşünün. Tepe küçücük ve ışık hızında, taban ise devasa ama yavaştır. Göreviniz her katmanı doğru kullanmaktır.

Zirvede kayıtlar bulunur: iş parçacığına özeldir, en hızlıdır ve çok sınırlıdır. Mümkün olduğunca sık kullandığınız çalışma değerlerini burada tutun.

Hemen altında, bir bloktaki tüm iş parçacıklarının görebildiği çip üzeri geçici çalışma alanı olan paylaşımlı bellek bulunur. Bu, blok içi hızlı iş birliği aracınızdır.

Yanında, bir iş parçacığı grubunun tekdüze biçimde okuyup tek bir veri getirme işlemiyle yayınladığı küçük salt okunur değerler için ideal olan sabit önbellek bulunur.

Geniş taban global bellektir: gigabaytlarca kapasiteye sahiptir ve herkes tarafından görülür, ancak gecikmesi yüksektir. Büyük girdilerinizi ve çıktılarını burada tutar.

Yerel belleğe dikkat edin. Yakınmış gibi görünse de yavaş DRAM'de bulunur ve yalnızca kayıtlar taştığında kullanılır. Ona güvenmekten kaçının.

Seçiminizi veriye kimin ihtiyaç duyduğuna göre yapın. Yalnızca bir iş parçacığı kayıtları, birlikte çalışan bir blok paylaşımlı belleği, herkes ise global belleği ister.

Bir çekirdek sona erdiğinde kayıtlar ve paylaşımlı bellek yok olur, ancak global bellek başlatmalar arasında varlığını sürdürür. Depolamayı verinin ne kadar süre yaşaması gerektiğine göre seçin.

Başarılı düzen şudur: global bellekten bir kez yükleyin, hızlı çip üzeri bellekte hesaplayın, ardından sonucu bir kez geri yazın. Bu, yavaş global bellek trafiğini en aza indirir.

Blok başına çok sayıda kayıt veya paylaşımlı bellek kullanmak aynı anda çalışabilecek blok sayısını azaltır. Doluluk, sürekli ayarladığınız dengedir.

Başarılı çekirdekler her veri parçasını bilinçli olarak doğru katmana yönlendirir. Yavaş kodu hızlı CUDA kodundan ayıran temel alışkanlık budur. 💪

Zihinsel bir harita oluşturdunuz: kayıtlar, paylaşımlı, sabit ve global bellek hız ile boyut ve kapsam arasında ödünleşir. Veriyi doğru katmana yönlendirmek işin tamamıdır. 🧠