PCIe 전송 병목

CPU와 GPU는 PCIe 버스로 연결된 서로 다른 보드에 있습니다. 모든 cudaMemcpy는 이 좁은 다리를 통과해야 합니다. 🌉

GPU 메모리 대역폭은 초당 테라바이트에 이를 수 있지만, PCIe는 수십 기가바이트만 전달합니다. 이 버스가 느린 연결입니다.

짧은 커널에서는 전송 시간이 계산 시간보다 훨씬 길 수 있습니다. 데이터가 도착하기를 기다리느라 GPU가 유휴 상태가 됩니다.

첫 번째 해결책은 간단합니다. 필요한 것만 옮기고, 데이터가 GPU에 올라간 후 바이트당 더 많은 작업을 수행하세요.

배열을 계속 오가지 않게 하세요. 여러 커널이 실행되는 동안 디바이스에 상주시키고 매번 다시 업로드하지 마세요.

작은 전송을 여러 번 수행하면 각각 고정된 오버헤드가 발생합니다. 이를 하나의 큰 복사로 묶으면 훨씬 효율적입니다. 📦

스트림을 사용해 복사와 계산을 겹치면 전송 비용을 숨길 수 있으므로, 데이터가 이동하는 동안 GPU가 작업할 수 있습니다.

페이지 고정 호스트 메모리를 사용하면 더 빠른 DMA와 비동기 복사가 가능합니다. 전송과 커널을 실제로 겹쳐 실행하는 핵심 방법입니다.

복사와 커널의 시간을 따로 측정하세요. Nsight 같은 성능 분석기를 사용하면 버스가 정확히 어디에서 병목을 일으키는지 확인할 수 있습니다.

전송이 병목이라면 더 빠른 커널을 사용해도 도움이 되지 않습니다. 먼저 데이터 이동을 줄인 다음 계산을 최적화하세요.

작은 문제에서는 복사 비용이 속도 향상보다 클 수 있습니다. 계산 시간이 전송 시간보다 확실히 길 때 GPU의 이점이 나타납니다.

PCIe가 느린 연결인 이유를 살펴보았습니다. 복사를 줄이고, 데이터를 상주시켜 두며, 전송을 묶고, 스트림과 겹쳐 실행하고, 항상 측정하세요. 🎉