Mengapa Blok Wujud

Anda mungkin tertanya-tanya mengapa CUDA bersusah payah mengumpulkan utas ke dalam blocks. Jawapannya berkaitan penjadualan dan penskalaan. 🤔

GPU memberikan keseluruhan blocks kepada pemproses berbilang penstriman. Blok ialah bahagian kerja yang dijadualkan oleh perkakasan sebagai satu unit.

Blok mesti berjalan secara bebas, dalam apa-apa urutan, tanpa komunikasi yang dijamin. Peraturan inilah yang menjadikan kernel mudah alih merentas GPU.

GPU kecil menjalankan beberapa blok pada satu-satu masa; GPU besar menjalankan banyak blok. Kebebasan ini membolehkan kod yang sama diskalakan tanpa anda mengubah satu baris pun.

Utas dalam blok yang sama berkongsi memori pantas pada cip dan boleh menyegerakkan pelaksanaan. Kerjasama rapat ini hanya dapat dilakukan kerana semuanya kekal bersama.

Penghalang seperti __syncthreads hanya berfungsi dalam satu block. Tiada cara terbina dalam untuk menyegerakkan seluruh grid di pertengahan pelaksanaan kernel.

Jika blok boleh menunggu antara satu sama lain, GPU mungkin tersekat apabila tidak dapat memuatkan kesemuanya serentak. Mengekalkan blok sebagai bebas mengelakkan keadaan itu.

Apabila satu blok tersekat menunggu memori, penjadual menggantikannya dengan blok lain yang sedia dijalankan. Banyak blocks memastikan teras terus sibuk.

Daftar dan memori dikongsi diperuntukkan bagi setiap block. Blok yang lebih kecil membolehkan lebih banyak blok dimuatkan pada pemproses berbilang pada masa yang sama.

Pelancaran yang baik menggunakan jauh lebih banyak blok berbanding bilangan pemproses berbilang GPU. blocks tambahan memberikan ruang kepada penjadual untuk mengimbangi kerja.

Jadi, blok menukar kerjasama global dengan penskalaan yang besar. Anda melepaskan penyegerakan merentas blok dan memperoleh kod yang berjalan pada mana-mana GPU.

Anda telah melihat sebab blocks wujud: blok ialah unit bebas yang boleh dijadualkan dan memberikan kebolehskalaan, manakala utas di dalamnya bekerjasama rapat. 🚀