Che cos'è una transazione di memoria

La GPU non recupera mai un singolo byte da solo. Sposta la memoria in blocchi di dimensione fissa chiamati transazioni di memoria, anche se ha richiesto un solo valore.

Un warp di 32 thread emette i propri caricamenti contemporaneamente. L'hardware raccoglie tutte e 32 le richieste e cerca di servirle con il minor numero possibile di transazioni.

La memoria globale è suddivisa in segmenti allineati, comunemente larghi 32 o 128 byte. Ogni transazione recupera un segmento intero, mai una porzione.

Una linea da 128 byte contiene esattamente 32 float da quattro byte. C'è un valore per ogni thread di un warp, quindi un warp ordinato può essere servito da una singola transazione.

I segmenti iniziano a indirizzi fissi e allineati. Se i dati iniziano a metà segmento, un singolo warp può estendersi su due linee e richiedere una transazione aggiuntiva.

Se un warp accede solo a pochi byte di una linea da 128 byte, la GPU sposta comunque tutti i 128 byte. I byte inutilizzati sono larghezza di banda sprecata, che ha comunque pagato.

Le prestazioni spesso dipendono da un solo numero: quante transazioni richiede un warp. Meno transazioni significano meno dati letti e un completamento più rapido.

Quando 32 thread leggono 32 float consecutivi da un indirizzo allineato, la GPU risponde con un'unica linea ordinata da 128 byte. Questa è la singola transazione ideale.

Se ogni thread recupera un valore lontano da quelli dei vicini, il warp può generare fino a 32 transazioni separate, caricando 32 linee intere per un utilizzo minimo.

La maggior parte dei kernel è limitata dalla velocità con cui sposta la memoria, non dai calcoli. Ridurre il numero di transazioni aumenta direttamente la larghezza di banda effettiva. 🚀

Ora conosce l'unità di costo: la transazione della dimensione di un segmento. Ogni tecnica di coalescing che vedrà in seguito riguarda in realtà il raggruppamento dei warp nel minor numero possibile di transazioni.

Ha imparato che la GPU sposta la memoria in segmenti di dimensione fissa e che un warp viene servito con il minor numero possibile di transazioni. Meno transazioni significano un kernel più veloce. 🎉