Okupansi Bukan Satu-satunya Faktor

Memang menggoda untuk mengejar okupansi 100%, tetapi okupansi maksimum tidak menjamin kinerja maksimum.

Okupansi penting hanya karena membantu menyembunyikan latensi. Setelah latensi tersembunyi, warp tambahan tidak memberikan manfaat.

Banyak kernel mencapai kecepatan puncak hanya dengan okupansi 50%. Setelah itu, Anda mengalami hasil yang semakin berkurang, sehingga penyetelan di bagian lain lebih bermanfaat.

Thread yang menjalankan beberapa operasi independen dapat menyembunyikan latensi sendiri, sehingga memerlukan lebih sedikit warp aktif untuk tetap sibuk.

Terkadang memberikan lebih banyak register kepada thread menurunkan okupansi tetapi mempercepat kernel karena mengurangi lalu lintas memori dan pelimpahan.

Jika kernel dibatasi oleh bandwidth memori, menambahkan warp tidak akan membantu. Pola akses yang lebih baiklah yang membantu.

Saat unit matematika sudah jenuh, kernel tersebut terbatas oleh komputasi. Okupansi yang lebih tinggi tidak dapat melewati batas aritmetika.

Biarkan Nsight Compute memberi tahu apakah Anda terbatas oleh memori atau komputasi sebelum mengubah konfigurasi peluncuran.

Satu-satunya penilai yang dapat diandalkan adalah waktu. Cobalah beberapa ukuran blok dan pertahankan yang berjalan paling cepat pada data nyata.

Anggap okupansi rendah sebagai petunjuk, bukan putusan akhir. Selidiki penyebabnya, lalu tentukan apakah meningkatkannya benar-benar membantu.

Penyetelan yang baik menyeimbangkan okupansi, penggunaan register, dan perilaku memori secara bersamaan, dengan mengoptimalkan hambatan nyata alih-alih satu metrik saja.

Anda telah mempelajari bahwa okupansi adalah sarana, bukan tujuan: sembunyikan latensi, temukan hambatan yang sebenarnya, dan biarkan tolok ukur yang menentukan. 🏁