필요할 때 페이지 이동하기

관리 메모리에서 데이터에는 고정된 위치가 없습니다. 데이터는 요청 시 페이지 마이그레이션을 통해 CPU와 GPU 사이를 조용히 이동하며, 사용되는 곳을 따라갑니다.

시스템은 메모리를 페이지라는 고정 크기의 청크로 관리하며, 크기는 보통 4 KB 또는 64 KB입니다. 마이그레이션은 바이트 단위가 아니라 한 번에 한 페이지씩 일어납니다.

GPU가 CPU에 있는 페이지에 접근하면 페이지 폴트가 발생합니다. 드라이버는 잠시 멈춘 뒤 해당 페이지를 복사하고 스레드를 계속 실행합니다.

규칙은 간단합니다. 데이터는 사용하는 쪽으로 이동합니다. CPU에서 쓰면 페이지가 CPU에 있고, 커널에서 읽으면 GPU로 이동합니다.

새로운 쪽에서 처음 접근할 때 비용이 발생합니다. 페이지가 도착한 뒤에는 같은 장치에서 이어지는 읽기가 빠르게 로컬에서 처리됩니다.

CPU와 GPU가 같은 페이지에 번갈아 계속 접근하면 페이지가 양쪽 사이를 오갑니다. 이러한 핑퐁 마이그레이션은 처리량을 조용히 크게 떨어뜨릴 수 있습니다.

각 폴트에는 설정 비용이 따르므로 작은 폴트가 수천 개 발생하면 비용이 커집니다. 흩어진 페이지를 하나씩 폴트로 처리하는 것보다 대량으로 마이그레이션하는 편이 효율적입니다.

자동 마이그레이션을 사용하더라도 좋은 접근 패턴이 더 나은 결과를 냅니다. 스레드가 가까운 주소를 읽으면 페이지 전체를 효율적으로 가져오므로 폴트가 흩어지지 않습니다.

마이그레이션을 사용하면 GPU가 보유한 양보다 더 많이 할당할 수 있습니다. 필요한 페이지는 들어오고 기존 페이지는 축출되므로, 거대한 데이터 세트도 느리지만 실행할 수 있습니다.

Nsight Systems 같은 프로파일러는 마이그레이션 트래픽과 폴트 횟수를 보여 줍니다. 많은 마이그레이션을 발견하면 다음에 어디에 힌트를 추가해야 할지 정확히 알 수 있습니다.

요청 시 마이그레이션은 놀라울 정도로 자동으로 처리되지만 폴트에 비용이 없는 것은 아닙니다. 그 비용을 알아야 프리패치와 조언으로 문제를 해결할 수 있습니다.

관리 페이지는 폴트가 발생하면 페이지를 사용하는 쪽으로 이동한다는 것을 살펴보았습니다. 첫 접근은 느리고, 핑퐁은 성능을 해치며, 대량 이동이 더 효율적입니다. 계속 진행해 보겠습니다! 🚀