Sovrapporre copia e calcolo
Nasconda i trasferimenti dietro i kernel.
Sovrapporre copia e calcolo è una lezione CUDA Academy gratuita su CoddyKit. Questa è la lezione 4 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento CUDA Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso CUDA Academy include 4 lezioni in totale.
L'idea fondamentale
I veri aumenti di velocità derivano dall'eseguire due operazioni contemporaneamente: copiare un blocco di dati mentre la GPU calcola su un altro. 🔀
Motori hardware separati
Una GPU dispone di motori di copia distinti e di unità di calcolo. La sovrapposizione funziona perché questi possono operare davvero in parallelo, non soltanto alternarsi.
La memoria pinned è necessaria
Le copie asincrone richiedono memoria dell'host pinned ottenuta con cudaMallocHost. Una malloc ordinaria, su memoria pageable, forza una copia bloccante che non può essere eseguita in sovrapposizione.
cudaMallocHost(&h_data, bytes);Copie asincrone
Usi cudaMemcpyAsync con uno stream, così il trasferimento restituisce immediatamente il controllo e si unisce alla coda dello stream insieme ai kernel.
cudaMemcpyAsync(d_in, h_in, bytes, cudaMemcpyHostToDevice, s);Suddividere il lavoro
Divida l'array in parti e assegni a ciascuna il proprio stream. Mentre stream 0 esegue il calcolo, stream 1 può già effettuare una copia.
Copiare, calcolare, ricopiare
Ogni blocco esegue gli stessi tre passaggi nel proprio stream: caricare l'input, eseguire il kernel e scaricare l'output, il tutto senza bloccare l'host.
cudaMemcpyAsync(d, h, n, H2D, s);
k<<<g, b, 0, s>>>(d);
cudaMemcpyAsync(h, d, n, D2H, s);Come si crea la sovrapposizione
Poiché i blocchi risiedono in stream diversi, la GPU può copiare il blocco due mentre calcola ancora sul blocco uno. La linea temporale si riempie. 📊
Nascondere il costo di PCIe
I trasferimenti non si sommano più al tempo totale: vengono nascosti dietro il calcolo. Idealmente, il tempo di esecuzione si riduce all'incirca al maggiore tra il tempo della copia e quello del kernel.
Fare attenzione allo stream predefinito
Una singola chiamata allo stream predefinito inserita nel ciclo può serializzare di nuovo tutto. Mantenga ogni operazione asincrona associata a uno stream reale e non predefinito.
Verificare con un profiler
Apra Nsight Systems e cerchi le corsie di copia e calcolo che si sovrappongono nel tempo. Corsie sovrapposte e occupate indicano che la concorrenza è reale.
Sincronizzare alla fine
Dopo aver inviato tutti i blocchi, chiami una sola volta cudaDeviceSynchronize, così ogni stream termina prima che lei legga i risultati finali sull'host.
cudaDeviceSynchronize();Verifica rapida
Che cosa richiede un trasferimento asincrono per poter essere eseguito in sovrapposizione con il calcolo?
Riepilogo
Suddividendo il lavoro tra gli stream con memoria pinned e copie asincrone, nasconde i trasferimenti dietro il calcolo e mantiene la GPU davvero occupata. 🚀
Impara C++ con un tutor IA — gratis
Scrivi ed esegui vero codice nel tuo browser, ricevi aiuto istantaneo da un tutor IA disponibile 24/7, e riprendi da dove hai lasciato sul web o nell'app.
- Corsi
- 30
- Lezioni
- 120
Domande Frequenti
La lezione «Sovrapporre copia e calcolo» è gratuita?
Sì — il testo completo di «Sovrapporre copia e calcolo» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso CUDA Academy, passa a CoddyKit PRO. Il corso CUDA Academy include 4 lezioni in totale.
Cosa imparerò in «Sovrapporre copia e calcolo»?
Nasconda i trasferimenti dietro i kernel. Eserciti CUDA Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare CUDA Academy?
Non è richiesta alcuna esperienza precedente. CUDA Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 4 di 4.
Quanto tempo richiede la lezione «Sovrapporre copia e calcolo»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione CUDA Academy?
Sì. Ogni lezione CUDA Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- La trappola dello stream predefinito
- Creare e utilizzare gli stream
- Eventi per misurazione e sincronizzazione
- Sovrapporre copia e calcolo