Metriche dei kernel in Nsight Compute

Nsight Compute è il microscopio per un singolo kernel. Raccoglie metriche hardware dettagliate, così può capire esattamente perché viene eseguito lentamente. 🔬

Esegue il profiling di un kernel con ncu dalla riga di comando. Ripete il kernel molte volte per raccogliere contatori dettagliati.

La prima cosa da leggere è il throughput: quanto sono occupate le unità di calcolo e le unità di memoria, espresso come percentuale del loro picco.

Uno stall è un warp che non può avanzare durante il ciclo corrente. Nsight Compute raggruppa gli stalli per motivo, così sa cosa correggere.

Se la maggior parte degli stalli è associata alla memoria, il kernel è in attesa dei dati. La soluzione consiste nel migliorare i pattern di accesso o il riutilizzo dei dati, non nell'aggiungere calcoli.

Achieved occupancy mostra quanti warp erano effettivamente attivi rispetto al massimo. Valori bassi spesso indicano che ci sono troppo pochi warp per nascondere la latenza.

Il grafico roofline confronta il kernel con i limiti hardware. La posizione del punto indica se il limite è imposto dal calcolo o dalla memoria.

Nsight Compute fornisce raccomandazioni in linguaggio semplice. Indica il principale collo di bottiglia, così non deve iniziare andando a tentativi.

I contatori delle cache L1 e L2 mostrano con quale frequenza le letture trovano i dati nella cache. Tassi di hit più elevati significano meno accessi alla lenta memoria globale.

Può fare il diff di due report affiancati. In questo modo è evidente se la modifica più recente ha davvero migliorato le metriche.

Poiché ripete l'esecuzione dei kernel, l'overhead del profiling è elevato. Lo utilizzi su un kernel alla volta, non durante un'esecuzione normale.

Il report del kernel mostra soprattutto stalli dei warp legati alla memoria.

Nsight Compute rivela le metriche di un singolo kernel: throughput, stalli, occupancy e roofline. Lo utilizzi per verificare esattamente cosa ottimizzare. 👏