Hierarki Thread

Kernel CUDA berjalan secara paralel pada banyak thread, dan setiap thread melakukan pekerjaan yang sama pada bagian datanya sendiri. 🧵

Meluncurkan jutaan thread yang tidak teratur akan menimbulkan kekacauan. CUDA mengaturnya dalam hierarki yang rapi agar perangkat keras dapat menjadwalkannya dengan baik.

Thread dikelompokkan ke dalam sebuah blok. Setiap thread dalam blok menjalankan kernel yang sama dan dapat bekerja sama erat dengan tetangganya.

Semua blok untuk satu peluncuran secara bersama-sama membentuk kisi. Jadi rantainya sederhana: thread berada dalam blok, dan blok berada dalam kisi.

Desain dua tingkat memungkinkan satu kernel ditingkatkan skalanya dari GPU kecil hingga GPU besar. Anda mendeskripsikan pekerjaan sekali, lalu kisi menyesuaikan ukurannya.

Anda memilih jumlah blok dan jumlah thread per blok tepat saat peluncuran, menggunakan sintaks kurung sudut tiga.

Misalnya Anda meluncurkan 4 blok yang masing-masing berisi 256 thread. Hasilnya adalah 4 kali 256, atau 1024 thread yang berjalan sekaligus.

Blok yang berbeda tidak boleh mengasumsikan urutan tertentu atau berkomunikasi langsung satu sama lain. Kemandirian inilah yang memungkinkan GPU menjalankannya dalam urutan apa pun.

Di dalam satu blok, thread dapat berbagi memori cepat pada cip dan menyinkronkan diri satu sama lain. Kerja sama itu adalah keunggulan blok.

Kisi dan setiap blok dapat berbentuk 1D, 2D, atau 3D. Tipe dim3 memungkinkan Anda memetakan struktur secara alami ke gambar atau volume.

Tujuan umumnya adalah memberikan tepat satu elemen data kepada setiap utas untuk ditangani. Hierarki tersebut hanya menentukan cara Anda mencapai pemetaan itu.

Anda telah mempelajari tingkatan CUDA: utas membentuk blok, dan blok membentuk kisi. Blok-blok independen dapat diskalakan, sedangkan utas di dalam sebuah blok dapat bekerja sama. 🎯