Memilih Jumlah Thread per Blok

Saat meluncurkan kernel, Anda harus memilih jumlah utas per blok yang akan digunakan. Pilihan kecil ini memengaruhi kinerja nyata. 🎚️

GPU menjalankan utas dalam kelompok berjumlah 32 yang disebut warp, jadi selalu pilih kelipatan 32. Ukuran ganjil membuang lajur pada warp yang tidak penuh.

Perkiraan awal yang baik adalah 128 atau 256 utas per blok. Keduanya merupakan kelipatan 32 dan bekerja dengan baik di hampir semua GPU.

Sebuah blok dapat menampung paling banyak 1024 utas pada GPU saat ini. Jika Anda meminta lebih banyak, peluncuran akan gagal begitu saja dengan sebuah kesalahan.

Blok yang sangat kecil, seperti 32, dapat membuat GPU kurang dimanfaatkan. Penjadwal memiliki lebih sedikit warp untuk menyembunyikan latensi memori.

Blok yang sangat besar dapat kehabisan register atau memori bersama, sehingga lebih sedikit blok yang dapat ditempatkan pada setiap multiprosesor. Lebih besar tidak selalu lebih baik.

Setelah jumlah utas per blok ditetapkan, bulatkan ke atas jumlah blok agar setiap elemen tercakup, meskipun pembagiannya tidak merata.

Pembulatan ke atas berarti ada beberapa utas tambahan. Lindungi kernel Anda dengan if agar utas tersebut tidak mengakses memori melewati akhir larik.

Anda dapat meminta CUDA memilih ukuran blok yang baik secara otomatis menggunakan pembantu okupansi, lalu menyetelnya berdasarkan saran tersebut.

Ukuran yang benar-benar terbaik bergantung pada kernel dan GPU Anda. Mulailah dari 256, lalu uji kinerja beberapa nilai dan pertahankan yang tercepat.

Untuk sebagian besar kernel pemula, 256 utas per blok ditambah jumlah blok yang dibulatkan ke atas merupakan titik awal yang andal dan cepat.

Anda telah mempelajari cara menentukan ukuran blok: gunakan kelipatan 32, gunakan 256 sebagai nilai awal, tetap di bawah 1024, bulatkan ke atas jumlah blok, dan lakukan uji kinerja. 🏁