L’occupation ne fait pas tout

Il est tentant de viser une occupation de 100 %, mais l’occupation maximale ne garantit pas les performances maximales.

L’occupation n’est importante que parce qu’elle aide à masquer la latence. Une fois la latence masquée, les warps supplémentaires n’apportent rien d’utile.

De nombreux noyaux atteignent leur vitesse maximale avec seulement 50 % d’occupation. Au-delà, les rendements décroissants s’installent et l’optimisation d’un autre aspect devient plus rentable.

Un thread qui effectue plusieurs opérations indépendantes masque lui-même la latence ; il a donc besoin de moins de warps résidents pour rester actif.

Parfois, donner davantage de registres aux threads réduit l’occupation mais accélère le noyau, car cela diminue le trafic mémoire et les débordements.

Si un noyau est limité par la bande passante mémoire, ajouter des warps ne l’aidera pas. De meilleurs schémas d’accès, en revanche, seront bénéfiques.

Lorsque les unités de calcul sont saturées, le noyau est limité par le calcul. Une occupation plus élevée ne peut pas dépasser le plafond arithmétique.

Laissez Nsight Compute vous indiquer si vous êtes limité par la mémoire ou par le calcul avant de modifier la configuration de lancement.

Le seul juge fiable est l’horloge. Essayez plusieurs tailles de bloc et conservez celle qui s’exécute le plus rapidement sur des données réelles.

Considérez un faible taux d’occupation comme un indice, et non comme une conclusion. Cherchez pourquoi il est faible, puis déterminez si l’augmenter apporte réellement un gain.

Une bonne optimisation équilibre simultanément le taux d’occupation, l’utilisation des registres et le comportement de la mémoire, en optimisant le véritable goulot d’étranglement plutôt qu’une seule mesure.

Vous avez appris que le taux d’occupation est un moyen, et non un objectif : masquez la latence, trouvez le véritable goulot d’étranglement et laissez les mesures de performance décider. 🏁