Memoria costante e relativa cache

La memoria costante è una piccola regione progettata per dati che ogni thread legge, ma che nessuno modifica durante un kernel.

Contrassegni un array con ambito globale usando il qualificatore __constant__. Si trova all'esterno di qualsiasi funzione ed è visibile a tutti i Suoi kernel.

La memoria costante totale è di soli 64 KB sulle GPU tipiche. È pensata per coefficienti e parametri, non per grandi dataset.

Scrive nella memoria costante dalla CPU usando cudaMemcpyToSymbol, poiché i kernel non possono modificarla direttamente.

Le letture passano attraverso una cache costante dedicata su ogni multiprocessor. Un valore presente nella cache torna quasi alla stessa velocità di un registro.

Quando un warp intero legge lo stesso indirizzo, l'hardware esegue un solo fetch e lo broadcast a tutti i 32 thread in un unico passaggio. 📡

Il vantaggio dipende dall'accesso uniforme. Se i thread di un warp leggono indirizzi costanti diversi, le letture vengono serializzate e l'accelerazione scompare.

All'interno di un kernel, legge la memoria costante come un qualsiasi array. Il compilatore instrada silenziosamente l'accesso attraverso la veloce cache costante.

I kernel di convoluzione e le tabelle di ricerca sono ideali in questo caso, perché ogni thread riutilizza continuamente lo stesso piccolo insieme di coefficienti.

In genere carica nella memoria costante i dati una sola volta, poi lancia molti kernel che leggono tutti quei valori invariabili a basso costo.

Eviti la memoria costante se i dati sono grandi o se i thread leggono indirizzi sparsi. In questi casi, la semplice memoria globale è più adatta.

Ha imparato che la memoria costante è uno spazio minuscolo in sola lettura, la cui cache trasmette con broadcast le letture uniformi a un intero warp. La usi per valori piccoli e condivisi. ✨