cudaMallocHost로 고정 메모리 사용하기

고정 메모리는 운영 체제가 절대로 이동하거나 스왑 아웃하지 않겠다고 보장하는 호스트 메모리입니다. 물리 주소가 고정되어 있으므로 GPU가 직접 읽을 수 있습니다.

페이지 잠금이라는 용어가 고정 메모리의 동의어로 사용되는 것을 볼 수 있습니다. 둘은 같은 의미입니다. 페이지를 제자리에 고정하여 어떤 스와핑도 일어나지 않도록 하는 것입니다.

cudaMallocHost를 사용해 CUDA에 고정 메모리를 요청합니다. 그러면 일반적인 호스트 포인터가 반환되며, 어떤 C++ 배열처럼 읽고 쓸 수 있습니다.

반환된 포인터는 어떤 호스트 버퍼처럼 동작하므로 CPU 코드는 바꾸지 않아도 됩니다. 이전과 똑같이 값을 채우고 읽기만 하면 됩니다.

페이지를 이동할 수 없으므로 드라이버는 내부에서 수행하던 중간 복사를 건너뜁니다. GPU가 버퍼에서 직접 가져오므로 두 번 수행되던 복사가 사라집니다.

실제로 얻는 이점은 높은 대역폭입니다. 고정 메모리 전송은 링크의 최고 속도에 가깝게 실행되는 경우가 많으며, 페이지 아웃 가능한 버전보다 대략 두 배 빠를 때도 있습니다.

고정 메모리는 이에 맞는 별도의 해제가 필요합니다. 일반 free가 아니라 cudaFreeHost를 사용해야 합니다. 그렇지 않으면 충돌과 메모리 누수가 발생할 수 있습니다.

고정된 페이지는 스왑될 수 없으므로 실제 RAM을 계속 점유합니다. 너무 많이 고정하면 시스템의 나머지 부분에서 사용할 수 있는 메모리가 부족해집니다.

페이지를 잠그려면 작업이 필요하므로 cudaMallocHost는 malloc보다 할당 속도가 느립니다. 다시 할당하는 대신 여러 전송에서 하나의 고정 버퍼를 재사용하십시오.

속도뿐 아니라 고정 메모리는 진정한 비동기 복사를 가능하게 하는 핵심입니다. 고정 메모리가 없으면 cudaMemcpyAsync는 어떤 작업과도 겹쳐 실행될 수 없습니다.

자주 전송하거나 스트림에 데이터를 공급하는 버퍼를 고정하십시오. 아주 작은 배열을 한 번만 복사할 때는 일반 malloc으로도 충분합니다. 🙂

cudaMallocHost로 버퍼를 할당했습니다. 어떻게 해제해야 할까요?

cudaMallocHost는 호스트 페이지를 고정하여 GPU가 직접 읽게 하므로 복사 속도가 빨라지고 비동기 중첩이 가능해집니다. 항상 cudaFreeHost로 해제하십시오. 🔒