cudaMemPrefetchAsync로 미리 가져오기

느린 첫 접근 폴트를 기다리는 대신 페이지를 미리 이동할 수 있습니다. cudaMemPrefetchAsync는 커널이 필요로 하기 전에 관리 데이터를 장치로 보냅니다.

포인터, 바이트 수, 대상 장치를 지정합니다. 이 prefetch는 전체 범위를 미리 한 번에 효율적으로 이동합니다.

세 번째 인수는 device ID입니다. 곧 실행할 커널에 사용할 데이터를 해당 GPU에 준비하려면 GPU 번호를 전달합니다.

특수 ID인 cudaCpuDeviceId를 사용하여 결과를 호스트로 가져옵니다. CPU 코드가 결과를 읽기 전에 수행해야 오류가 연속해서 발생하는 것을 방지할 수 있습니다.

이름에 있는 Async는 실제 의미 그대로입니다. 호출은 즉시 반환되고 stream에서 실행됩니다. 페이지가 백그라운드에서 이동하는 동안에도 CPU는 계속 작업할 수 있습니다.

스트림을 사용하므로 프리페치는 다른 커널과 겹쳐 실행될 수 있습니다. 현재 청크를 처리하는 동안 다음 청크를 준비하십시오.

한 번의 대량 프리페치는 수천 번의 작은 오류보다 훨씬 저렴합니다. 분산된 오버헤드 대신 하나의 연속적인 고대역폭 전송을 사용하게 됩니다.

커널이 실제로 접근하는 부분만 준비하십시오. 커널이 거의 읽지 않는 거대한 버퍼를 프리페치하면 대역폭과 GPU 메모리만 낭비하게 됩니다.

깔끔한 흐름이 만들어집니다. GPU로 프리페치하고, 커널을 실행한 다음, 결과를 다시 프리페치합니다. 이렇게 하면 양쪽에서 이동이 핵심 경로를 차지하지 않습니다.

프리페치를 추가한 다음 Nsight에서 오류가 줄고 시간 흐름이 더 촘촘해졌는지 확인하십시오. 직관을 믿기보다 프로파일링으로 성능 향상을 확인하십시오.

프리페치를 사용하면 관리 메모리의 단일 포인터라는 편리함을 유지하면서 타이밍을 직접 제어할 수 있습니다. 두 방식의 장점을 모두 얻는 셈입니다.

cudaMemPrefetchAsync를 사용하여 페이지를 미리 준비하고, GPU 또는 cudaCpuDeviceId를 선택하는 방법을 배웠습니다. 스트림에서 다른 작업과 겹쳐 실행되며 페이지 오류 방식보다 빠릅니다. 훌륭합니다! ✨