Apa Itu Transaksi Memori

GPU tidak pernah mengambil satu byte saja. GPU memindahkan memori dalam blok berukuran tetap yang disebut transaksi memori, bahkan jika Anda hanya meminta satu nilai.

Sebuah warp yang terdiri dari 32 thread mengeluarkan pemuatannya secara bersamaan. Perangkat keras mengumpulkan semua 32 permintaan dan berusaha melayaninya dengan transaksi sesedikit mungkin.

Memori global dibagi menjadi segmen yang selaras, biasanya selebar 32 atau 128 byte. Setiap transaksi mengambil satu segmen utuh, tidak pernah hanya sebagian.

Satu baris berukuran 128 byte menampung tepat 32 bilangan pecahan empat byte. Itu berarti satu nilai untuk setiap thread dalam warp, sehingga warp yang tertata dapat dilayani oleh satu transaksi.

Segmen dimulai pada alamat tetap yang selaras. Jika data Anda dimulai di tengah segmen, satu warp dapat melintasi dua baris dan memaksa transaksi tambahan.

Jika sebuah warp hanya menyentuh beberapa byte dari baris berukuran 128 byte, GPU tetap memindahkan seluruh 128 byte. Byte yang tidak digunakan menjadi lebar pita yang terbuang, tetapi tetap Anda bayar.

Kinerja sering kali bergantung pada satu angka: berapa banyak transaksi yang diperlukan warp. Lebih sedikit transaksi berarti lebih sedikit data yang dibaca dan penyelesaian yang lebih cepat.

Saat 32 thread membaca 32 bilangan pecahan yang bersebelahan dari alamat yang selaras, GPU menjawab dengan satu baris bersih berukuran 128 byte. Itulah satu transaksi yang ideal.

Jika setiap thread mengambil nilai yang jauh dari thread di sekitarnya, warp dapat memicu hingga 32 transaksi terpisah dan membawa 32 baris penuh untuk penggunaan yang sangat sedikit.

Sebagian besar kernel dibatasi oleh kecepatan pemindahan memori, bukan oleh perhitungan matematika. Mengurangi jumlah transaksi secara langsung meningkatkan lebar pita efektif Anda. 🚀

Sekarang Anda mengetahui satuan biayanya: transaksi seukuran segmen. Setiap trik penggabungan akses berikutnya sebenarnya bertujuan memadatkan warp ke dalam transaksi sesedikit mungkin.

Uji pemahaman Anda tentang ukuran transaksi.

Anda telah mempelajari bahwa GPU memindahkan memori dalam segmen berukuran tetap, dan warp dilayani dengan transaksi sesedikit yang dapat digunakannya. Lebih sedikit transaksi berarti kernel lebih cepat. 🎉