Mengapa Memori Boleh Halaman Perlahan

Penimbal C++ biasa daripada malloc berada dalam memori hos boleh halaman. Ia kelihatan percuma, tetapi GPU tidak boleh menyalin daripadanya secara langsung, dan butiran kecil itu mengurangkan kelajuan Anda.

Memori adalah boleh halaman apabila sistem pengendalian boleh mengalihkan halamannya atau menukarnya ke cakera pada bila-bila masa. Ia fleksibel, tetapi menyukarkan perkakasan yang memerlukan alamat tetap.

GPU menarik data menggunakan DMA, iaitu pemindahan perkakasan langsung yang memerlukan alamat fizikal yang tidak akan berubah. Halaman boleh halaman memungkiri syarat itu, jadi halaman tersebut tidak boleh digunakan secara langsung.

Untuk mengatasinya, pemacu menyalin penimbal boleh halaman Anda ke dalam penimbal pementasan tersembunyi terlebih dahulu, kemudian menghantarnya ke GPU. Anda membayar penyalinan tambahan yang tidak pernah Anda tulis. 😮

Jadi, satu cudaMemcpy daripada memori boleh halaman sebenarnya ialah dua salinan: hos ke pementasan, kemudian pementasan ke peranti. Kerja berganda itulah sebab pemindahan boleh halaman terasa lembap.

Inilah penimbal yang biasanya digunakan terlebih dahulu. Ia berfungsi, tetapi setiap pemindahan daripada h_data secara senyap melalui laluan pementasan itu.

Sistem pengendalian mengekalkan memori supaya boleh halaman agar ia dapat memperuntukkan RAM secara berlebihan dan melayani banyak program serentak. Kemudahan itulah yang menghalang GPU daripada membaca halaman Anda secara langsung.

Pemindahan boleh halaman sering hanya mencapai separuh daripada jalur lebar maksimum pautan Anda. Penyalinan pementasan menggunakan kitaran CPU dan trafik memori yang sepatutnya boleh digunakan oleh pemindahan sebenar.

Oleh sebab penyalinan pementasan adalah segerak, pemindahan boleh halaman tidak boleh benar-benar bertindih dengan kernel. Anda kehilangan teknik asinkron yang menjadikan aliran berbaloi.

Untuk satu penyalinan kecil, tiada siapa yang menyedarinya. Tetapi dalam gelung yang menghantar data pada setiap lelaran, cukai pementasan itu terkumpul dan secara senyap mendominasi masa pelaksanaan Anda.

Penyelesaiannya ialah meminta CUDA menyediakan penimbal yang tidak boleh dipindahkan ke storan sekunder, yang dipanggil memori dipasak. GPU membacanya secara terus, tanpa penyalinan perantaraan atau salinan berganda.

Penimbal yang boleh dipindahkan membolehkan lokasinya berubah, jadi GPU tidak boleh menggunakan DMA terhadapnya secara terus. Pemacu menyalinnya ke penimbal perantaraan dahulu, lalu menggandakan salinan. Penyelesaian yang akan datang ialah memori dipasak. 🚀