L'occupancy non è tutto

È naturale voler raggiungere il 100% di occupazione, ma l'occupazione massima non garantisce le prestazioni massime.

L'occupazione è importante solo perché aiuta a nascondere la latenza. Una volta nascosta la latenza, i warp aggiuntivi non portano alcun vantaggio.

Molti kernel raggiungono la velocità massima con appena il 50% di occupazione. Oltre quel punto si ottengono rendimenti decrescenti e conviene ottimizzare altro.

Un thread che esegue diverse operazioni indipendenti nasconde da solo la latenza, quindi ha bisogno di meno warp residenti per rimanere occupato.

A volte assegnare ai thread più registri riduce l'occupazione ma accelera il kernel, perché diminuisce il traffico verso la memoria e gli spill.

Se un kernel è limitato dalla larghezza di banda della memoria, aggiungere warp non sarà d'aiuto. Serviranno schemi di accesso migliori.

Quando le unità di calcolo sono sature, il kernel è limitato dal calcolo. Un'occupazione maggiore non può superare il limite imposto dall'aritmetica.

Lasci che Nsight Compute stabilisca se il kernel è limitato dalla memoria o dal calcolo prima di modificare la configurazione di avvio.

L'unico giudice affidabile è il tempo di esecuzione. Provi alcune dimensioni del blocco e conservi quella più veloce sui dati reali.

Consideri una bassa occupancy un indizio, non una sentenza. Verifichi perché è bassa, poi decida se aumentarla aiuta davvero.

Una buona ottimizzazione bilancia occupancy, uso dei registri e comportamento della memoria, ottimizzando il vero collo di bottiglia invece di una sola metrica.

Ricordi quando una maggiore occupancy smette di aiutare un kernel.

Ha imparato che occupancy è un mezzo, non l'obiettivo: nasconda la latenza, trovi il vero collo di bottiglia e lasci decidere ai benchmark. 🏁