Membagi Pekerjaan Menjadi Potongan

Meluncurkan utas untuk setiap elemen merupakan pemborosan. Sebagai gantinya, bagi rentang menjadi beberapa chunk yang lebih besar, satu untuk setiap worker.

Setiap chunk hanyalah irisan indeks yang berurutan, seperti 0 hingga 99 atau 100 hingga 199. Satu worker memiliki satu irisan.

Pilihan yang umum adalah satu chunk untuk setiap inti. Anda dapat meminta jumlah tersebut dari mesin dengan num_physical_cores.

Bagilah panjang total dengan jumlah worker untuk mengetahui jumlah item yang harus ditangani setiap worker.

Di dalam fungsi pekerjaan, indeks chunk memberi tahu Anda dari mana harus memulai. Kalikan indeks tersebut dengan ukuran chunk.

Chunk terakhir mungkin melewati data, jadi batasi akhirnya hingga panjang total dengan min agar tetap berada dalam batas.

Setiap worker menjalankan perulangan biasa hanya pada rentangnya sendiri. Di dalam chunk, yang digunakan adalah kode biasa.

Sekarang panggil parallelize dengan jumlah chunk, bukan jumlah elemen. Setiap pemanggilan memproses satu chunk utuh.

Chunk berukuran sama membuat setiap inti sama-sama sibuk. Jika satu chunk jauh lebih besar, worker tersebut selesai terlambat.

Jika beberapa item membutuhkan biaya lebih besar daripada yang lain, penggunaan chunk yang lebih banyak dan lebih kecil memungkinkan worker yang selesai lebih cepat mengambil pekerjaan tambahan dan tetap sibuk.

Jumlah chunk terbaik bergantung pada data dan mesin Anda. Cobalah beberapa ukuran dan pertahankan ukuran yang paling baik menurut tolok ukur Anda.

Anda membagi rentang menjadi chunk yang seimbang, membatasi setiap akhir dengan min, melakukan perulangan di dalam chunk, dan memanggil parallelize berdasarkan jumlah chunk untuk membagi beban secara merata. 🚀