Pertukaran Memori Global

Memori global ialah DRAM utama GPU, yang selalunya berkapasiti berbilang gigabait. Di sinilah tatasusunan input dan output besar anda biasanya berada semasa kernel berjalan.

Setiap bebenang dalam setiap blok boleh membaca dan menulis memori global. Kebolehlihatan dikongsi itu ialah sebab tepat anda menyalin data ke sana sebelum melancarkan kernel. 🌍

Anda menempah memori global daripada hos dengan cudaMalloc, yang memberikan anda penuding peranti kepada rantau DRAM tersebut.

Masalahnya ialah kependaman. Satu bacaan memori global boleh menelan kos ratusan kitaran jam, jauh lebih banyak daripada capaian daftar.

Banyak kernel terhad bukan oleh pengiraan matematik, tetapi oleh kelajuan bait mengalir dari DRAM. Kernel sebegini dipanggil kernel terikat memori.

GPU menyembunyikan bacaan perlahan dengan beralih kepada warp lain yang sedia ada sementara satu warp menunggu. Penyembunyian kependaman inilah sebab banyak bebenang sangat penting.

Data dalam memori global kekal di situ antara pelancaran kernel sehingga anda membebaskannya. Anda boleh menjalankan beberapa kernel pada penimbal yang sama.

Cache L2 bersatu terletak di hadapan memori global untuk seluruh GPU. Alamat yang digunakan semula boleh disediakan daripada cache itu dan bukannya DRAM yang perlahan.

Cara bebenang dipetakan kepada alamat sangat mempengaruhi daya pemprosesan. Bebenang bersebelahan yang menyentuh alamat bersebelahan ialah perkara yang dipanggil penggabungan capaian dalam pelajaran seterusnya.

Strategi terasnya mudah: sentuh memori global sesedikit mungkin. Baca sekali, guna semula pada cip, kemudian tulis sekali.

Oleh sebab memori global ialah sumber terhingga, lepaskannya dengan cudaFree apabila anda selesai untuk mengelakkan kebocoran memori peranti.

Kini anda tahu bahawa memori global ialah DRAM GPU yang besar dan kelihatan kepada semua, yang menukar kapasiti dengan kependaman tinggi. Sentuhnya jarang-jarang dan guna semula data pada cip. 🚀