그래프를 재생해 오버헤드 줄이기

그래프는 재생하기 위해 존재합니다. 한 번의 실행 호출로 기록된 전체 순서를 GPU에 한꺼번에 제출합니다.

cudaGraphLaunch를 사용해 인스턴스화한 실행 객체와 스트림을 전달하면 재생할 수 있습니다. 이것으로 전체 제출이 끝납니다.

단계마다 열 번 실행하는 대신, 전체 그래프에 대한 CPU 실행 비용을 한 번만 지불합니다.

반복적인 해법에서는 매 단계마다 실행을 호출합니다. 수천 번의 동일한 반복에 걸쳐 절약 효과가 분산되어 상쇄됩니다.

비싼 인스턴스화 단계는 반복문 전에 수행되므로, 반복문 안에서 재생할 때마다 비용이 적게 듭니다.

매개변수만 변경된다면 처음부터 다시 만들지 말고 cudaGraphExecUpdate를 사용해 실행 객체를 수정하십시오.

짧은 커널에서 가장 큰 효과를 얻습니다. GPU 작업이 짧으면 실행 오버헤드가 지배적이 되는데, 그래프가 이를 없애기 때문입니다.

작업을 일괄 처리해 제출하면 CPU 지터도 줄어들어 타임라인에 빈틈이 적은 상태로 GPU를 계속 바쁘게 유지할 수 있습니다.

그래프는 안정적인 구조를 전제로 합니다. 단계마다 작업 패턴이 바뀐다면 다시 만드는 비용이 절약 효과보다 커질 수 있습니다.

작업이 끝나면 누수를 방지하기 위해 cudaGraphExecDestroy와 cudaGraphDestroy로 두 객체를 모두 해제하십시오.

전체 수명 주기는 세 단계입니다. 작업을 캡처하고, 한 번 인스턴스화한 다음, 여러 번 재생합니다.

cudaGraphLaunch로 한 번의 호출에서 전체 순서를 실행하고, 반복에 걸쳐 설정 비용을 분산하십시오. 제자리에서 업데이트하고 작업이 끝나면 해제하십시오. 잘하셨습니다! 🏁