Limitato dal calcolo contro limitato dalla memoria

Ogni kernel incontra uno di due limiti. È compute-bound, cioè limitato dai calcoli, oppure memory-bound, cioè limitato dallo spostamento dei dati. ⚖️

Un kernel compute-bound mantiene occupate le unità di calcolo e raramente attende la memoria. Il suo limite è il throughput aritmetico puro.

Un kernel memory-bound trascorre il proprio tempo in attesa dei dati. I core restano inattivi mentre i byte arrivano lentamente dalla memoria globale.

Il rapporto chiave è l'intensità aritmetica: il numero di operazioni matematiche eseguite per ogni byte caricato. Un'intensità elevata indica un limite di calcolo, una bassa un limite di memoria.

In un grafico roofline, i kernel con bassa intensità raggiungono il limite inclinato della memoria, mentre quelli con alta intensità raggiungono il limite orizzontale del calcolo.

Correggere il limite sbagliato fa sprecare energie. Aggiungere calcoli a un kernel memory-bound non cambia nulla: deve invece ridurre il traffico di dati.

Per velocizzare un kernel memory-bound, renda gli accessi coalesced, riutilizzi i dati nella memoria condivisa e metta in cache i valori per effettuare meno letture.

Per un carico compute-bound, aumenti il parallelismo, utilizzi operazioni matematiche più rapide oppure ricorra ai Tensor Core per superare il limite del calcolo.

Nella pratica, la maggior parte dei kernel CUDA è memory-bound. Di solito la risorsa scarsa è la larghezza di banda, non l'aritmetica.

Non cerchi di indovinare il limite. Il roofline di Nsight Compute colloca automaticamente il kernel sotto il limite corretto.

Si ponga una domanda: sono più vicini al picco i core o le unità di memoria? La risorsa satura indica il tipo di limite.

Un kernel ha un'intensità aritmetica molto bassa.

Individui prima il limite: i kernel memory-bound hanno bisogno di meno traffico, quelli compute-bound di più calcoli. Il roofline le indica quale dei due è presente. 👏