Masalah Penggunaan Ulang Data

Sebuah kernel dapat benar tetapi tetap lambat karena terus mengambil data yang sama dari memori global yang lambat berulang kali. 🐢

Pada GPU, operasi aritmetika murah, tetapi mengakses memori global mahal. Banyak kernel lebih sering menunggu memori daripada melakukan komputasi.

Penggunaan ulang data berarti satu nilai yang dimuat dari memori global digunakan oleh banyak komputasi, bukan dibaca ulang setiap kali.

Bayangkan Anda mengaburkan gambar. Setiap piksel keluaran menghitung rata-rata tetangganya, sehingga setiap piksel masukan dibaca oleh beberapa thread yang berbeda.

Dalam pengaburan tersebut, nilai in[i] dibaca oleh thread i-1, i, dan i+1. Byte yang sama melintasi bus lambat yang dialiri PCIe sebanyak tiga kali.

Dengan jendela yang lebih lebar atau grid 2D, setiap elemen dapat dibaca ulang puluhan kali. Lalu lintas redundan ini mendominasi waktu eksekusi.

Memori global memiliki bandwidth puncak yang tetap. Membaca data yang sama berulang kali membuang anggaran tersebut untuk byte yang sudah Anda miliki.

Saat warp berhenti menunggu pemuatan global yang berulang, unit matematika menganggur. Anda telah membayar inti yang hampir tidak digunakan. 😴

Intensitas aritmetika adalah rasio operasi matematika terhadap byte yang dipindahkan. Intensitas rendah berarti memori, bukan komputasi, yang membatasi Anda.

Solusinya adalah memuat setiap nilai yang diperlukan sekali ke penyimpanan cepat di dalam chip, lalu membiarkan banyak thread menggunakannya kembali dari sana.

Penyimpanan cepat di dalam chip tersebut adalah memori bersama. Menempatkan data di sana menjadi dasar setiap optimasi tiling berikutnya.

Kernel sederhana membaca ulang data bersama dari memori global, membuang bandwidth, dan membuat komputasi berhenti menunggu. Tiling digunakan untuk memuat sekali lalu menggunakan kembali. ✅