Che cosa significa davvero occupancy

Ogni core della GPU, chiamato SM, può mantenere residenti contemporaneamente molti warp. L'occupazione misura quanto questa capacità sia effettivamente sfruttata. 🎯

L'occupazione è il rapporto tra i warp attivi su un SM e il numero massimo di warp che quell'SM può contenere. Un numero maggiore di warp residenti indica un utilizzo più completo della macchina.

Quando un warp si blocca durante una lettura lenta dalla memoria, l'SM esegue immediatamente un altro warp pronto. È così che la GPU nasconde la latenza.

Ogni architettura stabilisce un limite massimo, spesso di 64 warp per SM. L'occupazione confronta il kernel con questo limite hardware.

L'occupazione teorica è quella consentita sulla carta dalla configurazione di avvio. L'occupazione raggiunta è quella effettivamente ottenuta, misurata da un profiler.

Se un SM contiene 64 warp, ma il kernel ne mantiene residenti solo 32, la sua occupazione è del 50%. Metà della capacità di nascondere la latenza resta inutilizzata.

L'occupazione si calcola sempre in warp, mai in singoli thread. Un warp è composto da 32 thread, quindi un blocco di 256 thread equivale esattamente a 8 warp.

Lo scheduler suddivide ogni blocco residente in warp. Pertanto, blocchi per SM moltiplicati per i warp per blocco forniscono il numero di warp attivi.

Tre risorse limitano l'occupazione: i registri per thread, la memoria condivisa per blocco e il limite di warp dell'SM. A prevalere è il vincolo più restrittivo.

Un'occupazione maggiore di solito nasconde meglio la latenza, ma oltre una certa soglia non produce alcun vantaggio aggiuntivo. È uno strumento, non l'obiettivo finale.

I profiler come Nsight Compute mostrano l'occupazione raggiunta accanto al kernel. Questo valore è il punto di partenza per l'ottimizzazione.

Ha imparato che l'occupazione è il rapporto tra i warp attivi e il massimo dell'SM, calcolato in warp, e che consente di nascondere la latenza. 🚀