피어 간 메모리 접근

한 GPU에서 다른 GPU로 데이터를 옮길 때는 보통 먼저 CPU 메모리를 거칩니다. 이 왕복 과정은 느리고 호스트의 대역폭을 낭비합니다.

최신 GPU는 CPU를 완전히 건너뛸 수 있습니다. 피어 간 접근을 사용하면 한 GPU가 직접 연결을 통해 다른 GPU의 메모리를 읽고 쓸 수 있습니다.

카드 사이의 빠른 연결은 흔히 NVLink이며, 공유 PCIe 버스보다 훨씬 빠릅니다. P2P 전송은 사용 가능한 경우 이 고속도로를 이용합니다.

모든 GPU 쌍이 P2P를 지원하는 것은 아닙니다. 먼저 cudaDeviceCanAccessPeer를 호출해 한 장치가 다른 장치에 접근할 수 있는지 확인하십시오.

권한은 기본적으로 꺼져 있습니다. GPU 0을 현재 장치로 설정한 상태에서 cudaDeviceEnablePeerAccess를 호출하면 GPU 0이 GPU 1의 메모리에 접근할 수 있습니다.

피어 접근을 활성화하면 요청한 방향만 허용됩니다. GPU 1이 GPU 0을 읽게 하려면 장치 1에서 해당 방향도 활성화해야 합니다.

카드 사이에서 버퍼를 직접 이동하려면 cudaMemcpyPeer를 사용하십시오. 대상 포인터와 장치, 그리고 원본 포인터와 장치를 지정합니다.

접근을 활성화하면 GPU 0의 커널이 GPU 1에 있는 포인터를 역참조할 수 있습니다. 하드웨어가 이를 피어 연결을 통해 자동으로 가져옵니다.

두 카드가 피어 접근을 지원하지 않으면 런타임이 조용히 호스트 메모리를 거치는 방식으로 전환합니다. 복사는 계속 수행되지만 더 느린 PCIe 속도로 이루어집니다.

피어 전송은 다른 작업과 겹쳐 실행될 수 있습니다. cudaMemcpyPeerAsync를 스트림과 함께 사용하면 커널이 계속 계산하는 동안 복사가 실행됩니다.

피어 접근은 리소스를 사용하므로 작업이 끝나면 해제하십시오. cudaDeviceDisablePeerAccess는 앞서 연 연결을 해제합니다.

P2P를 사용하면 GPU가 메모리를 직접 공유할 수 있으며, 이상적으로는 NVLink를 통해 이루어집니다. 지원 여부를 확인하고 방향별로 접근을 활성화한 다음 cudaMemcpyPeer를 사용하십시오. 다음에는 NCCL을 사용해 확장하는 방법을 알아봅니다. ✨