Mengapa Blok Ada

Anda mungkin bertanya-tanya mengapa CUDA repot-repot mengelompokkan utas ke dalam blok. Jawabannya berkaitan dengan penjadwalan dan penskalaan. 🤔

GPU memberikan seluruh blok kepada multiprosesor streaming-nya. Blok adalah bagian pekerjaan yang dijadwalkan perangkat keras sebagai satu kesatuan.

Blok harus berjalan secara independen, dalam urutan apa pun, tanpa komunikasi yang dijamin. Aturan inilah yang membuat kernel portabel di berbagai GPU.

GPU kecil menjalankan beberapa blok sekaligus, sedangkan GPU besar menjalankan banyak blok. Kemandirian memungkinkan kode yang sama diskalakan tanpa Anda mengubah satu baris pun.

Utas dalam blok yang sama berbagi memori cepat pada chip dan dapat menyinkronkan diri. Kerja sama erat itu hanya mungkin karena semuanya tetap bersama.

Penghalang seperti __syncthreads hanya berfungsi di dalam sebuah blok. Tidak ada cara bawaan untuk menyinkronkan seluruh kisi di tengah eksekusi kernel.

Jika semua blok dapat saling menunggu, GPU dapat mengalami kebuntuan saat tidak mampu menampung semuanya sekaligus. Menjaga blok tetap independen mencegah hal itu.

Saat sebuah blok terhenti menunggu memori, penjadwal menggantinya dengan blok lain yang siap. Memiliki banyak blok membuat inti tetap sibuk.

Register dan memori bersama dialokasikan per blok. Blok yang lebih kecil memungkinkan lebih banyak blok ditempatkan pada satu multiprosesor secara bersamaan.

Peluncuran yang baik menggunakan jauh lebih banyak blok daripada jumlah multiprosesor GPU. Blok tambahan memberi ruang bagi penjadwal untuk menyeimbangkan pekerjaan.

Jadi, blok menukar kerja sama global dengan skalabilitas yang sangat besar. Anda mengorbankan sinkronisasi lintas blok dan memperoleh kode yang berjalan di GPU apa pun.

Anda telah melihat alasan blok ada: blok merupakan unit independen yang dapat dijadwalkan dan memberikan skalabilitas, sedangkan utas di dalamnya bekerja sama dengan erat. 🚀