Mempartisi Pekerjaan di Seluruh GPU

Dua GPU dapat menyelesaikan pekerjaan dalam waktu kira-kira setengahnya, tetapi hanya jika pekerjaan tersebut dibagi. Tantangannya adalah mempartisi: menentukan GPU mana yang menangani bagian tertentu.

Strategi klasiknya adalah membagi data, bukan kode. Dengan dekomposisi ranah, setiap GPU mendapat potongan array atau kisi sendiri untuk diproses.

Untuk array 1D, cukup bagi panjangnya. Berikan potongan elemen pertama kepada GPU 0, potongan berikutnya kepada GPU 1, dan seterusnya.

Setiap GPU memerlukan posisi awal potongannya. Ofset untuk perangkat d adalah d dikalikan ukuran potongan, yang menandai tempat data perangkat tersebut dimulai.

Setiap GPU memerlukan buffer sendiri. Tetapkan perangkat, lalu cudaMalloc ruang hanya untuk potongan kartu tersebut, bukan untuk seluruh array.

Unggah hanya bagian yang dimiliki setiap GPU. Salin dari host[offset] ke buffer perangkat tersebut agar tidak ada kartu yang menyimpan data yang tidak akan disentuhnya.

Lakukan perulangan pada GPU, tetapkan masing-masing sebagai perangkat saat ini, lalu luncurkan kernel pada potongannya. Peluncuran ini bersifat asinkron, sehingga semua kartu mulai bekerja secara paralel.

Setelah kernel selesai, salin keluaran setiap perangkat kembali ke posisi yang tepat dalam array host menggunakan ofset-nya. Potongan-potongan tersebut kembali membentuk satu hasil.

Jika n tidak dapat dibagi rata, GPU terakhir harus menangani sisa elemen. Berikan elemen tambahan kepadanya agar tidak ada bagian array yang terlewati.

Operasi stencil dan tetangga membaca melintasi tepi potongan. Wilayah halo tersebut harus dibagikan di antara GPU, atau hasil pada batas akan salah.

Jika satu GPU lebih cepat, pembagian rata akan menyia-nyiakan kemampuannya. Penyeimbangan beban yang baik memberikan potongan lebih besar kepada kartu yang lebih kuat agar keduanya selesai bersamaan.

Anda membagi data menjadi beberapa potongan, mengalokasikan dan menyalin per perangkat, meluncurkan pada masing-masing perangkat, lalu mengumpulkan hasilnya. Perhatikan sisa dan wilayah halo. Berikutnya: menyalin langsung dari GPU ke GPU. ✨