Ce que signifie réellement l’occupation

Chaque cœur de GPU, appelé un SM, peut conserver simultanément de nombreux warps actifs. L’occupation mesure le niveau réel de remplissage de cette capacité. 🎯

L’occupation est le rapport entre le nombre de warps actifs sur un SM et le nombre maximal de warps que ce SM peut contenir. Plus il y a de warps résidents, plus la machine est remplie.

Lorsqu’un warp est bloqué par une lecture mémoire lente, le SM exécute immédiatement un autre warp prêt. C’est ainsi que le GPU masque la latence.

Chaque architecture fixe une limite, souvent de 64 warps par SM. L’occupation compare votre noyau à cette limite matérielle.

L’occupation théorique est celle qu’autorise votre configuration de lancement sur le papier. L’occupation réelle correspond à ce qui a effectivement été exécuté, d’après les mesures d’un outil de profilage.

Si un SM peut contenir 64 warps, mais que votre noyau n’en maintient que 32 résidents, votre occupation est de 50 %. La moitié de la capacité de masquage de la latence reste inutilisée.

L’occupation se compte toujours en warps, jamais en threads individuels. Un warp contient 32 threads ; un bloc de 256 threads correspond donc exactement à 8 warps.

Le planificateur divise chaque bloc résident en warps. Ainsi, le nombre de blocs par SM multiplié par le nombre de warps par bloc donne le nombre de warps actifs.

Trois ressources limitent l’occupation : les registres par thread, la mémoire partagée par bloc et la limite de warps du SM. C’est la ressource la plus contraignante qui l’emporte.

Une occupation plus élevée masque généralement mieux la latence, mais au-delà d’un certain seuil elle n’apporte aucun gain supplémentaire. C’est un outil, pas l’objectif ultime.

Les outils de profilage comme Nsight Compute indiquent l’occupation réelle juste à côté de votre noyau. Cette valeur constitue votre point de départ pour l’optimisation.

Vous avez appris que l’occupation correspond au nombre de warps actifs rapporté au maximum du SM, qu’elle se compte en warps et qu’elle permet de masquer la latence. 🚀