CUDA Academy · 강의

복사와 계산 겹치기

커널 실행 뒤에 전송을 숨깁니다.

복사와 계산 겹치기은(는) CoddyKit의 무료 CUDA Academy 강의입니다. 이것은 4개 중 4번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 CUDA Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. CUDA Academy 강의에는 총 4개의 강의가 포함되어 있습니다.

이 강의의 일부는 아직 번역되지 않았으며 영어로 표시됩니다.

The Big Idea

Real speedups come from doing two things at once: copying one chunk of data while the GPU computes on another. 🔀

Separate Hardware Engines

A GPU has distinct copy engines and compute units. Overlap works because these can run truly in parallel, not just take turns.

Pinned Memory Is Required

Async copies need pinned host memory from cudaMallocHost. Ordinary pageable malloc forces a blocking copy that cannot overlap.

cudaMallocHost(&h_data, bytes);

Async Copies

Use cudaMemcpyAsync with a stream so the transfer returns immediately and joins that stream's queue alongside kernels.

cudaMemcpyAsync(d_in, h_in, bytes, cudaMemcpyHostToDevice, s);

Chunk the Work

Split the array into pieces and give each piece its own stream. While stream 0 computes, stream 1 can already be copying.

Copy, Compute, Copy Back

Each chunk does the same three steps in its stream: upload input, run the kernel, download output, all without blocking the host.

cudaMemcpyAsync(d, h, n, H2D, s);
k<<<g, b, 0, s>>>(d);
cudaMemcpyAsync(h, d, n, D2H, s);

How the Overlap Forms

Because chunks live in different streams, the GPU can copy chunk two while still computing chunk one. The timeline fills up. 📊

Hiding the PCIe Cost

Transfers no longer add to total time; they hide behind compute. Ideally your runtime shrinks to roughly the longer of copy or kernel.

Watch the Default Stream

One stray default-stream call mid-loop can serialize everything again. Keep every async op tied to a real, non-default stream.

Verify in a Profiler

Open Nsight Systems and look for copy and compute lanes that overlap in time. Stacked, busy lanes mean your concurrency is real.

Synchronize at the End

After issuing all chunks, call cudaDeviceSynchronize once so every stream finishes before you read the final results on the host.

cudaDeviceSynchronize();

Quick Check

What does an async transfer require to overlap with compute?

Recap

By chunking work across streams with pinned memory and async copies, you hide transfers behind compute and keep the GPU truly busy. 🚀

자주 묻는 질문

“복사와 계산 겹치기” 강의는 무료인가요?

네 — “복사와 계산 겹치기” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 CUDA Academy 강의 전체를 잠금 해제할 수 있습니다. CUDA Academy 강의에는 총 4개의 강의가 포함되어 있습니다.

“복사와 계산 겹치기”에서 뭘 배우나요?

커널 실행 뒤에 전송을 숨깁니다. 브라우저에서 직접 실행하는 실습 코드로 CUDA Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.

CUDA Academy을(를) 시작하는 데 경험이 필요한가요?

사전 경험은 필요하지 않습니다. CoddyKit의 CUDA Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 4번째 강의입니다.

“복사와 계산 겹치기” 강의는 얼마나 걸리나요?

대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.

이 CUDA Academy 강의에서 코드를 작성하고 실행할 수 있나요?

네. 모든 CUDA Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.

이 강의의 모든 강의

← CUDA Academy(으)로 돌아가기