Akses Memori Rakan ke Rakan

Memindahkan data dari satu GPU ke GPU lain biasanya melalui memori CPU terlebih dahulu. Perjalanan pergi balik itu perlahan dan membazirkan lebar jalur hos.

GPU moden boleh memintas CPU sepenuhnya. Capaian rakan ke rakan membolehkan satu GPU membaca dan menulis memori GPU lain melalui pautan terus.

Pautan pantas antara kad selalunya ialah NVLink, yang jauh lebih pantas daripada bas PCIe yang dikongsi. Pemindahan P2P menggunakan laluan ini apabila tersedia.

Bukan setiap pasangan GPU boleh menggunakan P2P. Semak dahulu dengan cudaDeviceCanAccessPeer, yang melaporkan sama ada satu peranti boleh mencapai peranti lain.

Kebenaran dimatikan secara lalai. Semasa GPU 0 menjadi peranti semasa, panggil cudaDeviceEnablePeerAccess untuk membolehkannya mencapai memori GPU 1.

Menghidupkan capaian rakan hanya memberikan arah yang anda minta. Agar GPU 1 dapat membaca GPU 0, anda juga mesti menghidupkan arah itu daripada peranti 1.

Untuk memindahkan penimbal secara terus antara kad, gunakan cudaMemcpyPeer. Anda menamakan penunjuk dan peranti destinasi, serta penunjuk dan peranti sumber.

Dengan capaian yang dihidupkan, kernel pada GPU 0 boleh menyahrujuk penunjuk yang berada pada GPU 1. Perkakasan mengambilnya melalui pautan rakan secara telus.

Jika dua kad tidak boleh berkomunikasi sebagai rakan, masa jalan kembali secara senyap kepada pemindahan sementara melalui memori hos. Anda masih mendapat salinan, tetapi pada kadar PCIe yang lebih perlahan.

Pemindahan rakan boleh bertindih dengan kerja lain. Padankan cudaMemcpyPeerAsync dengan strim supaya salinan berjalan semasa kernel terus mengira.

Capaian rakan menggunakan sumber, jadi lepaskannya apabila selesai. cudaDeviceDisablePeerAccess meruntuhkan pautan yang anda buka sebelum ini.

P2P membolehkan GPU berkongsi memori secara terus, sebaik-baiknya melalui NVLink. Semak sokongan, hidupkan capaian bagi setiap arah, kemudian gunakan cudaMemcpyPeer. Seterusnya: penskalaan dengan NCCL. ✨