CUDA Academy · Ders

Kopyalama ve Hesaplamayı Örtüştürme

Aktarımları çekirdeklerin arkasında gizleyin.

Kopyalama ve Hesaplamayı Örtüştürme, CoddyKit'te ücretsiz bir CUDA Academy dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, CUDA Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. CUDA Academy kursu toplamda 4 dersten oluşur.

Bu dersin bazı bölümleri henüz çevrilmemiş olup İngilizce olarak gösterilmektedir.

The Big Idea

Real speedups come from doing two things at once: copying one chunk of data while the GPU computes on another. 🔀

Separate Hardware Engines

A GPU has distinct copy engines and compute units. Overlap works because these can run truly in parallel, not just take turns.

Pinned Memory Is Required

Async copies need pinned host memory from cudaMallocHost. Ordinary pageable malloc forces a blocking copy that cannot overlap.

cudaMallocHost(&h_data, bytes);

Async Copies

Use cudaMemcpyAsync with a stream so the transfer returns immediately and joins that stream's queue alongside kernels.

cudaMemcpyAsync(d_in, h_in, bytes, cudaMemcpyHostToDevice, s);

Chunk the Work

Split the array into pieces and give each piece its own stream. While stream 0 computes, stream 1 can already be copying.

Copy, Compute, Copy Back

Each chunk does the same three steps in its stream: upload input, run the kernel, download output, all without blocking the host.

cudaMemcpyAsync(d, h, n, H2D, s);
k<<<g, b, 0, s>>>(d);
cudaMemcpyAsync(h, d, n, D2H, s);

How the Overlap Forms

Because chunks live in different streams, the GPU can copy chunk two while still computing chunk one. The timeline fills up. 📊

Hiding the PCIe Cost

Transfers no longer add to total time; they hide behind compute. Ideally your runtime shrinks to roughly the longer of copy or kernel.

Watch the Default Stream

One stray default-stream call mid-loop can serialize everything again. Keep every async op tied to a real, non-default stream.

Verify in a Profiler

Open Nsight Systems and look for copy and compute lanes that overlap in time. Stacked, busy lanes mean your concurrency is real.

Synchronize at the End

After issuing all chunks, call cudaDeviceSynchronize once so every stream finishes before you read the final results on the host.

cudaDeviceSynchronize();

Quick Check

What does an async transfer require to overlap with compute?

Recap

By chunking work across streams with pinned memory and async copies, you hide transfers behind compute and keep the GPU truly busy. 🚀

Sıkça Sorulan Sorular

“Kopyalama ve Hesaplamayı Örtüştürme” dersi ücretsiz mi?

Evet — “Kopyalama ve Hesaplamayı Örtüştürme” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve CUDA Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. CUDA Academy kursu toplamda 4 dersten oluşur.

“Kopyalama ve Hesaplamayı Örtüştürme” dersinde ne öğreneceğim?

Aktarımları çekirdeklerin arkasında gizleyin. CUDA Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

CUDA Academy öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te CUDA Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.

“Kopyalama ve Hesaplamayı Örtüştürme” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu CUDA Academy dersinde kod yazıp çalıştırabilir miyim?

Evet. Her CUDA Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

← CUDA Academy Sayfasına Dön