Werk vastleggen in een graph

Een CUDA-grafiek legt een volledige reeks kernels en kopieerbewerkingen vast als één herbruikbare werkeenheid die u steeds opnieuw kunt indienen.

Elke afzonderlijke kernel-lancering heeft een kleine CPU-overhead. Bij duizenden lanceringen per iteratie wordt die kost merkbaar.

Met een grafiek beschrijft u het werk één keer en speelt u het daarna goedkoop opnieuw af; de instelkosten betaalt u maar één keer.

De eenvoudigste manier om er een te bouwen is streamvastlegging: u legt de normale lanceringen die u al uitvoert vast in een stream.

Tussen het begin en het einde start u kernels en kopieerbewerkingen zoals gewoonlijk. Er wordt nog niets uitgevoerd; de bewerkingen worden vastgelegd, niet uitgevoerd.

U stopt het vastleggen met cudaStreamEndCapture, dat een cudaGraph_t teruggeeft die al het werk beschrijft.

De vastlegging bepaalt de afhankelijkheden tussen bewerkingen automatisch op basis van hoe u de stream hebt gebruikt.

Een grafiek is slechts een beschrijving. U compileert deze tot een uitvoerbaar object van het type graph exec voordat u hem kunt lanceren.

U kunt met de grafiek-API ook expliciet knooppunten toevoegen voor volledige controle over structuur en verbindingen.

Een vastlegging kan meerdere streams omvatten, zodat onafhankelijke vertakkingen die gelijktijdig worden uitgevoerd allemaal in dezelfde grafiek terechtkomen.

Na het maken van een instantie wordt hetzelfde exec-object herhaaldelijk gelanceerd. Precies daar bewijzen grafieken hun nut.

Omwikkel lanceringen met streamvastlegging om een cudaGraph_t vast te leggen, maak er één keer een instantie van en laat de vastlegging de afhankelijkheden voor u afleiden. Goed bezig! 🎉