Il problema del riutilizzo dei dati

Un kernel può essere corretto ma lento perché continua a recuperare gli stessi dati dalla lenta memoria globale, ancora e ancora. 🐢

Sulla GPU, i calcoli aritmetici sono economici, mentre accedere alla memoria globale è costoso. Molti kernel trascorrono molto più tempo in attesa della memoria che nell'esecuzione dei calcoli.

Il riutilizzo dei dati significa che un valore caricato dalla memoria globale viene usato da molti calcoli, invece di essere letto nuovamente ogni volta.

Immagini di sfocare un'immagine. Ogni pixel di output calcola la media dei propri vicini, quindi ogni pixel di input viene letto da diversi thread.

In questa sfocatura, il valore in[i] viene letto dai thread i-1, i e i+1. Lo stesso byte attraversa tre volte il lento bus alimentato tramite PCIe.

Con una finestra più ampia o una griglia 2D, ogni elemento può essere riletto decine di volte. Questo traffico ridondante domina il tempo di esecuzione.

La memoria globale ha una larghezza di banda massima fissa. Leggere ripetutamente gli stessi dati spreca questa risorsa trasferendo byte che erano già disponibili.

Mentre i warp si bloccano in attesa di caricamenti ripetuti dalla memoria globale, le unità di calcolo restano inattive. Ha pagato per core che sta usando appena. 😴

L'intensità aritmetica è il rapporto tra le operazioni matematiche e i byte trasferiti. Un'intensità bassa significa che il limite è imposto dalla memoria, non dai calcoli.

La soluzione consiste nel caricare ogni valore necessario una sola volta in una memoria veloce on-chip, permettendo poi a molti thread di riutilizzarlo da lì.

Questa memoria veloce on-chip è la shared memory. Precaricare i dati al suo interno è la base di tutte le ottimizzazioni basate sui tile che seguono.

Perché un kernel stencil ingenuo è spesso lento?

I kernel ingenui rileggono i dati condivisi dalla memoria globale, sprecando larghezza di banda e bloccando i calcoli. Il tiling serve a caricare una volta e riutilizzare.