Kapan Paralelisme Dinamis Menguntungkan

Paralelisme dinamis sangat kuat, tetapi tidak gratis. Mengetahui kapan menggunakannya sama pentingnya dengan mengetahui caranya.

Fitur ini paling bermanfaat untuk beban kerja tidak beraturan ketika jumlah pekerjaan per wilayah belum diketahui sampai kernel dijalankan.

Bayangkan penyempurnaan jaring adaptif: wilayah yang memerlukan detail dapat membuat lebih banyak thread tepat di lokasi yang diminta data.

Masalah hierarkis juga cocok. Node dengan banyak child dapat meluncurkan kernel untuk memproses subpohon tersebut secara paralel.

Keuntungannya adalah melewati perjalanan pulang-pergi ke host yang mahal di antara fase-fase ketika ukuran setiap fase bergantung pada hasil fase sebelumnya.

Namun, setiap peluncuran bertingkat memiliki biaya tambahan yang nyata. Banyak peluncuran child kecil dapat menghabiskan biaya lebih besar daripada penghematan yang dihasilkan.

Saat melakukan peluncuran, buatlah sepadan: satu peluncuran besar lebih baik daripada ratusan peluncuran kecil untuk total pekerjaan yang sama.

Penyarangan yang terlalu dalam melipatgandakan beban tambahan dan dapat mencapai batas kedalaman peluncuran. Jagalah pohon tetap dangkal jika memungkinkan.

Sering kali, kernel datar dengan perulangan grid-stride menangani ukuran variabel dengan biaya lebih rendah daripada peluncuran bersarang.

Selalu lakukan pembuatan profil pada kedua versi. Paralelisme dinamis terkadang kalah cepat dibandingkan rancangan satu peluncuran yang cermat.

Gunakan ini ketika pekerjaan sangat bergantung pada data dan setiap tugas anak melakukan pekerjaan yang cukup besar. Jika tidak, ratakan kernel tersebut.

Kapan paralelisme dinamis cenderung memberikan manfaat?

Gunakan paralelisme dinamis untuk pekerjaan yang tidak teratur dan bergantung pada data, dengan tugas anak yang cukup besar. Waspadai beban tambahan peluncuran, jaga penyarangan tetap dangkal, dan lakukan pembuatan profil. 🎯