이중 버퍼링 파이프라인

큰 배열을 복사한 다음 커널을 실행하고 다시 복사해 온다고 해 보겠습니다. 각 복사 중에는 GPU가 유휴 상태가 되고, 계산 중에는 전송 엔진이 유휴 상태가 됩니다.

해결책은 하나의 거대한 배열을 더 작은 청크로 나누는 것에서 시작합니다. 각 청크를 따로 복사하고 처리할 수 있으므로 중첩의 가능성이 열립니다.

이중 버퍼링은 두 개의 장치 버퍼와 두 개의 스트림을 사용합니다. 스트림 A가 한 청크를 계산하는 동안 스트림 B는 다음 청크를 복사해 옵니다.

핵심은 동시 실행입니다. 서로 다른 청크에서 전송과 커널 실행이 동시에 이루어집니다. 전송 시간은 유용한 계산 뒤에 가려집니다.

이 방식은 호스트 데이터가 고정 메모리에 있을 때만 작동합니다. 페이지 아웃 가능한 버퍼는 블로킹 복사를 강제하므로 전체 파이프라인이 다시 직렬 실행으로 돌아갑니다.

청크를 순회하면서 각 단계에서 같은 스트림에 비동기 입력 복사, 커널 실행, 비동기 출력 복사를 차례로 예약합니다.

스트림을 번갈아 사용하여 각 청크를 스트림에 할당하십시오. 짝수 청크는 스트림 0으로, 홀수 청크는 스트림 1로 보내면 이웃한 청크가 자연스럽게 중첩됩니다.

스트림 두 개만으로도 복사와 계산을 중첩할 수 있습니다. 버퍼를 더 추가하면 깊이는 늘어나지만 효과는 점점 줄고 메모리 비용은 증가하므로 두 개부터 시작하십시오.

모든 청크를 대기열에 넣은 뒤 결과를 읽기 전에 모든 작업이 끝날 때까지 기다리십시오. 간단한 cudaDeviceSynchronize 호출 하나로 모든 스트림을 한 번에 처리할 수 있습니다.

복사가 계산 뒤에 가려지면 전체 시간은 두 시간의 합이 아니라 둘 중 더 긴 시간의 비용에 가까워집니다. 이것이 진정한 이점입니다. 🚀

이중 버퍼링은 전송 시간과 계산 시간이 대략 균형을 이룰 때 가장 효과적입니다. 한쪽이 압도적으로 길다면 먼저 그 부분을 줄이는 데 집중하십시오.

이중 버퍼링 파이프라인의 핵심 이점은 무엇일까요?

데이터를 청크로 나누고, 두 개의 고정 버퍼와 스트림을 사용하여 복사와 계산을 중첩하십시오. 마지막에 동기화하면 전송 시간이 사라지는 것을 확인할 수 있습니다. 🎉