Memori Konstan dan Cache-nya

Memori konstan adalah wilayah kecil yang dibuat untuk data yang dibaca oleh setiap thread, tetapi tidak pernah ditulis oleh thread mana pun selama kernel berjalan.

Anda menandai larik dalam cakupan global dengan kualifikasi __constant__. Larik tersebut berada di luar fungsi mana pun dan terlihat oleh semua kernel Anda.

Total memori konstan hanya 64 KB pada GPU umumnya. Memori ini ditujukan untuk koefisien dan parameter, bukan untuk kumpulan data besar.

Anda menulis ke memori konstan dari CPU menggunakan cudaMemcpyToSymbol, karena kernel sendiri tidak dapat mengubahnya.

Pembacaan melewati cache konstan khusus pada setiap multiprosesor. Nilai yang berada di cache kembali hampir secepat register.

Saat seluruh warp membaca alamat yang sama, perangkat keras melakukan satu pengambilan lalu menyiarkannya ke semua 32 thread dalam satu langkah. 📡

Keuntungan ini bergantung pada akses yang seragam. Jika thread dalam sebuah warp membaca alamat konstan yang berbeda, pembacaan tersebut diserialkan dan peningkatan kecepatan pun hilang.

Di dalam kernel, Anda membaca memori konstan seperti membaca larik apa pun. Compiler secara diam-diam mengarahkan akses tersebut melalui cache konstan yang cepat.

Kernel konvolusi dan tabel pencarian sangat cocok di sini, karena setiap thread berulang kali menggunakan kembali sekumpulan kecil koefisien yang sama.

Biasanya Anda mengunggah ke memori konstan satu kali, lalu menjalankan banyak kernel yang semuanya membaca nilai yang tidak berubah tersebut dengan biaya rendah.

Jangan gunakan memori konstan jika data Anda besar atau thread membaca alamat yang tersebar. Dalam kasus tersebut, memori global biasa lebih sesuai.

Anda telah mempelajari bahwa memori konstan adalah ruang kecil hanya-baca yang cache-nya menyiarkan pembacaan seragam ke seluruh warp. Gunakan untuk nilai kecil yang digunakan bersama. ✨