Le goulot d’étranglement des transferts PCIe

Le CPU et le GPU se trouvent sur des cartes séparées, reliées par le bus PCIe. Chaque cudaMemcpy doit se frayer un passage par ce pont étroit. 🌉

La bande passante de la mémoire GPU peut atteindre plusieurs téraoctets par seconde, tandis que le PCIe n’en fournit que quelques dizaines de gigaoctets. Le bus est le maillon lent.

Pour un noyau rapide, le temps de transfert peut largement dépasser le temps de calcul. Votre GPU reste inactif en attendant l’arrivée des données.

La première solution est simple : déplacez uniquement ce dont vous avez besoin et effectuez davantage de travail par octet une fois les données sur le GPU.

Évitez de faire circuler les tableaux dans les deux sens. Gardez-les résidents sur le périphérique entre plusieurs noyaux au lieu de les envoyer à nouveau.

Chaque petit transfert entraîne un coût fixe. Les regrouper en une seule grande copie est bien plus efficace. 📦

Vous pouvez masquer le coût des transferts en superposant les copies et les calculs à l’aide de flux, afin que le GPU travaille pendant que les données circulent.

La mémoire de l’hôte épinglée permet des transferts DMA et des copies asynchrones plus rapides. Elle est indispensable pour superposer réellement transferts et noyaux.

Mesurez séparément la durée de vos copies et de vos noyaux. Un profileur comme Nsight montre précisément où le bus vous ralentit.

Si vous êtes limité par les transferts, un noyau plus rapide ne vous aidera pas. Réduisez d’abord les mouvements de données, puis optimisez le calcul.

Pour les très petits problèmes, le coût de la copie peut dépasser le gain de vitesse. Le GPU devient avantageux lorsque le calcul dépasse nettement le transfert.

Vous avez compris pourquoi PCIe est le maillon lent : copiez moins, gardez les données sur place, regroupez les transferts, superposez-les avec des flux et mesurez toujours. 🎉