Pola Muat-Sinkronkan-Hitung

Tiling mengikuti satu pola dalam setiap kernel: muat tile ke memori bersama, lakukan sinkronisasi, lalu hitung dari salinan cepat tersebut.

Pada fase pemuatan, setiap thread membaca satu elemen dari memori global dan menyimpannya ke tile memori bersama yang dapat dilihat seluruh blok.

Pemuatan adalah pekerjaan tim. Setiap thread mengambil bagiannya, sehingga bersama-sama blok menyiapkan satu tile penuh dalam satu lintasan yang terkoalesensi.

Sebelum thread mana pun membaca nilai tetangganya, semua thread harus selesai memuat. __syncthreads adalah penghalang yang menjamin tile telah siap.

Jika penghalang dilewati, sebuah thread dapat membaca slot tile yang belum ditulis oleh tetangganya. Itu merupakan kondisi balapan dan menghasilkan keluaran yang salah. 💥

Sekarang semua nilai berada di dalam chip. Pada fase komputasi, thread dapat membaca entri tile dengan bebas karena memori bersama jauh lebih cepat daripada memori global.

Karena tile berada di memori bersama, nilai yang dimuat sekali dapat digunakan ulang oleh banyak thread dengan biaya tambahan yang hampir tidak ada. Itulah seluruh keuntungannya.

Jika fase komputasi menulis kembali ke tile yang sama untuk langkah berikutnya, tambahkan __syncthreads kedua sebelum menggunakan kembali slot tersebut.

Setiap thread dalam blok harus mencapai __syncthreads. Jika sebagian thread melewatinya di dalam percabangan, kernel dapat mengalami kebuntuan atau berperilaku tidak semestinya.

Muat, sinkronisasi, hitung adalah sebuah templat yang akan Anda gunakan kembali untuk konvolusi, perkalian matriks, dan reduksi di seluruh kategori ini.

Tile bersama harus muat dalam blok. Lebar tile biasanya sama dengan blockDim, sehingga setiap thread memiliki tepat satu slot untuk dimuat dan digunakan kembali.

Tiling adalah muat, sinkronisasi, hitung: siapkan tile secara kooperatif, gunakan penghalang agar tile selesai, lalu gunakan kembali dengan cepat di dalam chip. ✅