Mengapa Memori Pageable Lambat

Buffer C++ biasa dari malloc berada di memori host yang dapat dipindahkan. Tampaknya gratis, tetapi GPU tidak dapat menyalin darinya secara langsung, dan detail kecil ini mengurangi kecepatan Anda.

Memori disebut dapat dipindahkan ketika sistem operasi dapat memindahkan halamannya atau menukarnya ke disk kapan saja. Fleksibel, tetapi menyulitkan perangkat keras yang memerlukan alamat tetap.

GPU mengambil data menggunakan DMA, yaitu transfer perangkat keras langsung yang memerlukan alamat fisik yang tidak berubah. Halaman yang dapat dipindahkan tidak memenuhi jaminan ini, sehingga tidak dapat digunakan secara langsung.

Untuk mengatasinya, driver terlebih dahulu menyalin buffer Anda yang dapat dipindahkan ke buffer penahapan tersembunyi, lalu mengirimkannya ke GPU. Anda membayar penyalinan tambahan yang tidak pernah Anda tulis. 😮

Jadi, satu cudaMemcpy dari memori yang dapat dipindahkan sebenarnya adalah dua penyalinan: dari host ke penahapan, lalu dari penahapan ke perangkat. Pekerjaan ganda inilah yang membuat transfer tersebut terasa lambat.

Inilah buffer yang pertama kali biasanya digunakan semua orang. Buffer ini berfungsi, tetapi setiap transfer dari h_data diam-diam melewati jalur penahapan tersebut.

OS menjaga agar memori dapat dipindahkan sehingga dapat mengalokasikan RAM secara berlebihan dan melayani banyak program sekaligus. Kemudahan inilah yang menghalangi GPU membaca halaman Anda secara langsung.

Transfer memori yang dapat dipindahkan sering kali hanya mencapai setengah dari bandwidth puncak sambungan Anda. Penyalinan ke penahapan menghabiskan siklus CPU dan lalu lintas memori yang seharusnya dapat digunakan untuk transfer sebenarnya.

Karena penyalinan ke penahapan bersifat sinkron, transfer memori yang dapat dipindahkan tidak dapat benar-benar tumpang tindih dengan kernel. Anda kehilangan teknik asinkron yang membuat stream berguna.

Untuk satu penyalinan kecil, tidak ada yang menyadarinya. Namun, dalam perulangan yang mengirim data pada setiap iterasi, biaya penahapan terus terakumulasi dan diam-diam mendominasi waktu eksekusi Anda.

Solusinya adalah meminta CUDA menyediakan penyangga yang tidak dapat dipindahkan ke penyimpanan sekunder, yang disebut memori terkunci. GPU membacanya secara langsung, tanpa penahapan dan tanpa penyalinan ganda.

Penyangga yang dapat dipindahkan ke penyimpanan sekunder dapat berpindah, sehingga GPU tidak dapat mengaksesnya secara langsung melalui DMA. Pengandar menahapkannya terlebih dahulu, sehingga penyalinan menjadi dua kali lipat. Perbaikan yang akan dibahas adalah memori terkunci. 🚀