Memutar Ulang Graf untuk Mengurangi Overhead

Graph dibuat untuk diputar ulang. Satu panggilan peluncuran mengirimkan seluruh rangkaian yang direkam ke GPU sekaligus.

Anda memutarnya kembali dengan cudaGraphLaunch, dengan meneruskan objek eksekusi yang sudah dibuat instansnya dan sebuah stream. Itulah seluruh proses pengiriman.

Daripada melakukan sepuluh peluncuran per langkah, Anda hanya membayar biaya peluncuran CPU satu kali untuk seluruh graph.

Dalam pemecah iteratif, Anda memanggil peluncuran di setiap langkah. Penghematan tersebut teramortisasi selama ribuan iterasi yang identik.

Langkah pembuatan instans yang mahal dilakukan sebelum perulangan, sehingga setiap pemutaran ulang di dalam perulangan tetap murah.

Jika hanya parameter yang berubah, gunakan cudaGraphExecUpdate untuk memperbarui objek eksekusi, bukan membangunnya ulang dari awal.

Manfaatnya paling besar pada kernel pendek: ketika pekerjaan GPU berlangsung singkat dan didominasi beban tambahan peluncuran, graph menghilangkan beban tersebut.

Mengirimkan pekerjaan sebagai satu kelompok juga mengurangi guncangan CPU, sehingga GPU tetap sibuk dengan lebih sedikit jeda pada linimasa.

Graph mengasumsikan struktur yang stabil. Jika pola pekerjaan berubah di setiap langkah, biaya pembangunan ulang dapat melebihi penghematannya.

Setelah selesai, lepaskan kedua objek dengan cudaGraphExecDestroy dan cudaGraphDestroy untuk menghindari kebocoran.

Siklus hidup lengkapnya terdiri dari tiga tahap: rekam pekerjaan, buat instans satu kali, lalu putar ulang berkali-kali.

Putar ulang dengan cudaGraphLaunch untuk menjalankan seluruh rangkaian dalam satu panggilan, sehingga biaya penyiapan teramortisasi di seluruh iterasi. Perbarui di tempat dan bebaskan setelah selesai. Bagus sekali! 🏁