Makna Sebenarnya dari Okupansi

Setiap inti GPU, yang disebut SM, dapat mempertahankan banyak warp aktif secara bersamaan. Okupansi mengukur seberapa penuh kapasitas tersebut sebenarnya.

Okupansi adalah rasio warp aktif pada sebuah SM terhadap jumlah maksimum warp yang dapat ditampung SM tersebut. Semakin banyak warp aktif, semakin penuh perangkat.

Saat sebuah warp terhenti karena pembacaan memori yang lambat, SM segera menjalankan warp siap lainnya. Pergantian inilah yang digunakan GPU untuk menyembunyikan latensi.

Setiap arsitektur menetapkan batas, sering kali 64 warp per SM. Okupansi membandingkan kernel Anda dengan batas perangkat keras tersebut.

Okupansi teoretis adalah okupansi yang secara teori diizinkan oleh konfigurasi peluncuran Anda. Okupansi tercapai adalah yang benar-benar berjalan, diukur oleh alat pembuat profil.

Jika sebuah SM menampung 64 warp tetapi kernel Anda hanya mempertahankan 32 warp aktif, okupansi Anda adalah 50%. Separuh kemampuan menyembunyikan latensi tidak digunakan.

Okupansi selalu dihitung dalam warp, bukan thread tunggal. Satu warp terdiri dari 32 thread, jadi blok dengan 256 thread tepat terdiri dari 8 warp.

Penjadwal membagi setiap blok aktif menjadi beberapa warp. Jadi, blok per SM dikalikan warp per blok menghasilkan jumlah warp aktif.

Tiga sumber daya membatasi okupansi: register per thread, memori bersama per blok, dan batas warp SM. Batas yang paling ketatlah yang berlaku.

Okupansi yang lebih tinggi biasanya menyembunyikan latensi dengan lebih baik, tetapi setelah titik tertentu tidak ada keuntungan tambahan. Okupansi adalah alat, bukan tujuan akhir.

Alat pembuat profil seperti Nsight Compute melaporkan okupansi tercapai tepat di samping kernel Anda. Nilai tersebut menjadi titik awal penyetelan.

Pikirkan apa yang sebenarnya diukur oleh okupansi.

Anda telah mempelajari bahwa okupansi adalah jumlah warp aktif dibagi maksimum warp SM, dihitung dalam warp, dan berperan menyembunyikan latensi. 🚀