PCIe Aktarım Darboğazı

CPU ve GPU, PCIe veri yolu ile birbirine bağlanan ayrı kartlarda bulunur. Her cudaMemcpy bu dar köprüden geçmek zorundadır. 🌉

GPU bellek bant genişliği saniyede terabaytlarca olabilirken PCIe yalnızca onlarca gigabayt aktarır. Yavaş bağlantı veri yoludur.

Hızlı bir çekirdek için aktarım süresi, hesaplama süresini büyük ölçüde aşabilir. GPU, verilerin gelmesini beklerken boşta kalır.

İlk çözüm basittir: yalnızca ihtiyacınız olanı taşıyın ve veri GPU'ya ulaştıktan sonra her bayt başına daha fazla iş yapın.

Dizileri sürekli iki yönlü taşımaktan kaçının. Yeniden yüklemek yerine birkaç çekirdek boyunca onları aygıtta tutun.

Çok sayıda küçük aktarımın her biri sabit bir ek yük oluşturur. Bunları tek bir büyük kopyada gruplamak çok daha verimlidir. 📦

Kopyaları hesaplamayla akışlar kullanarak örtüştürüp aktarım maliyetini gizleyebilirsiniz; böylece veri akarken GPU çalışır.

Sabitlenmiş ana bilgisayar belleği daha hızlı DMA ve eşzamansız kopyalar sağlar. Aktarımları çekirdeklerle gerçekten örtüştürmenin anahtarıdır.

Kopyalarınızın ve çekirdeklerinizin sürelerini ayrı ayrı ölçün. Nsight gibi bir profil oluşturucu, veri yolunun sizi tam olarak nerede yavaşlattığını gösterir.

Aktarım sınırlı durumdaysanız daha hızlı bir çekirdek yardımcı olmaz. Önce veri hareketini azaltın, ardından hesaplamayı iyileştirin.

Küçük problemler için kopyalama maliyeti hızlanmayı aşabilir. GPU, hesaplama aktarımı açıkça aştığında avantaj sağlar.

PCIe'nin neden yavaş bağlantı olduğunu gördünüz: daha az kopyalayın, verileri aygıtta tutun, aktarımları gruplayın, akışlarla örtüştürün ve her zaman ölçün. 🎉