Terikat Komputasi versus Terikat Memori

Setiap kernel menabrak salah satu dari dua batas. Kernel tersebut mungkin terbatas komputasi, dibatasi oleh perhitungan, atau terbatas memori, dibatasi oleh perpindahan data. ⚖️

Kernel yang terbatas komputasi membuat unit perhitungan tetap sibuk dan jarang menunggu memori. Batasnya adalah laju pemrosesan aritmetika mentah.

Kernel yang terbatas memori menghabiskan waktunya untuk menunggu data. Inti pemrosesan menganggur sementara byte masuk perlahan dari memori global.

Rasio kuncinya adalah intensitas aritmetika: jumlah operasi matematika yang dilakukan untuk setiap byte yang dimuat. Intensitas tinggi cenderung terbatas komputasi, sedangkan intensitas rendah cenderung terbatas memori.

Pada grafik roofline, kernel berintensitas rendah mencapai batas memori yang miring, sedangkan kernel berintensitas tinggi mencapai batas komputasi yang datar.

Memperbaiki batas yang salah hanya membuang usaha. Menambahkan perhitungan pada kernel yang terbatas memori tidak mengubah apa pun; Anda harus mengurangi lalu lintas data.

Untuk mempercepat kernel yang terbatas memori, gabungkan akses, gunakan ulang data di memori bersama, dan simpan nilai dalam cache agar lebih sedikit data yang perlu dibaca.

Untuk pekerjaan yang terbatas komputasi, tingkatkan paralelisme, gunakan perhitungan yang lebih cepat, atau manfaatkan inti tensor untuk melampaui batas komputasi.

Dalam praktiknya, sebagian besar kernel CUDA terbatas memori. Bandwidth, bukan aritmetika, biasanya merupakan sumber daya yang langka.

Jangan menebak batasnya. Roofline dalam Nsight Compute menempatkan kernel Anda di bawah batas yang tepat secara otomatis.

Ajukan satu pertanyaan: mana yang lebih dekat dengan kapasitas puncak, inti pemrosesan atau jalur memori? Apa pun yang jenuh menunjukkan jenis batasan Anda.

Diagnosis batasnya terlebih dahulu: kernel yang terbatas memori memerlukan lebih sedikit lalu lintas, sedangkan kernel yang terbatas komputasi memerlukan lebih banyak perhitungan. Roofline memberi tahu Anda yang mana. 👏