Memindahkan Data ke dan dari Perangkat

CPU dan GPU masing-masing memiliki memori sendiri. GPU tidak dapat membaca array host Anda sampai data tersebut berada di perangkat.

Sisi CPU disebut host, sedangkan sisi GPU disebut perangkat. Memindahkan data di antara keduanya merupakan bagian inti dari pekerjaan GPU.

Pertama, sisihkan ruang pada GPU untuk data Anda. Buffer perangkat ini adalah tempat input dan output akan disimpan.

Berikutnya, salin array host Anda ke buffer perangkat tersebut. Pengunggahan ini menyediakan angka yang diperlukan GPU.

Setelah data berada di perangkat, luncurkan kernel. Kernel membaca dan menulis buffer perangkat, bukan buffer host.

Output tetap berada di GPU sampai Anda mengambilnya. Pengunduhan menyalin buffer hasil kembali ke memori host.

Panggilan-panggilan ini diantrekan pada GPU, bukan langsung selesai. Anda harus melakukan synchronize sebelum mempercayai hasilnya di host.

Siklus lengkapnya adalah pengunggahan, perhitungan, lalu pengunduhan. Bayangkan data melakukan perjalanan pulang-pergi dari host ke perangkat dan kembali lagi.

Penyalinan melalui bus lebih lambat dibandingkan perhitungan. Setiap transfer dapat menghapus keuntungan kecepatan Anda jika dilakukan terlalu sering.

Rangkaikan beberapa kernel pada buffer yang sama sebelum menyalin data kembali. Meminimalkan perjalanan pulang-pergi menjaga keuntungan GPU tetap utuh.

Memori perangkat terbatas, jadi lepaskan buffer yang tidak lagi diperlukan. Aturan kepemilikan Mojo membantu membebaskannya pada waktu yang tepat.

Unggah input ke perangkat, jalankan kernel, lalu unduh hasil dan lakukan synchronize, sembari meminimalkan transfer yang mahal. 🔁