عنق زجاجة النقل عبر PCIe

يوجد CPU وGPU على لوحتين منفصلتين، وتربط بينهما ناقلة PCIe. ويجب أن تمر كل عملية cudaMemcpy عبر هذا الجسر الضيق. 🌉

قد يبلغ عرض نطاق ذاكرة GPU تيرابايتات في الثانية، بينما لا توفر PCIe إلا عشرات الجيجابايتات. فالناقل هو الحلقة الأبطأ.

بالنسبة إلى نواة سريعة، قد يتجاوز زمن transfer زمن الحساب بكثير. وتبقى GPU خاملة في انتظار وصول البيانات.

الحل الأول بسيط: انقل ما تحتاج إليه فقط، وأنجز more work لكل بايت بعد وصول البيانات إلى GPU.

تجنّب نقل المصفوفات ذهابًا وإيابًا. أبقِها resident على الجهاز عبر عدة نوى بدلًا من إعادة رفعها.

تدفع كل عملية نقل صغيرة جدًا تكلفة إضافية ثابتة. ويكون Batching هذه العمليات في عملية نسخ كبيرة واحدة أكثر كفاءة بكثير. 📦

يمكنك إخفاء تكلفة النقل من خلال تداخل عمليات النسخ مع الحساب باستخدام streams، بحيث تعمل GPU أثناء تدفق البيانات.

تتيح ذاكرة المضيف Pinned عمليات DMA ونسخًا غير متزامنة أسرع. وهي العامل الأساسي للتداخل الفعلي بين عمليات النقل والنوى.

قِس زمن عمليات النسخ والنوى كلًّا على حدة. يوضّح profiler مثل Nsight بدقة الموضع الذي يسبب فيه الناقل المشكلة.

إذا كان البرنامج transfer-bound، فلن تفيدك نواة أسرع. قلّل حركة البيانات أولًا، ثم حسّن الحساب.

في المسائل الصغيرة جدًا، قد تفوق تكلفة النسخ مكسب السرعة. تصبح GPU مفيدة عندما يتجاوز compute زمن النقل بوضوح.

رأيت سبب كون PCIe الحلقة الأبطأ: انسخ أقل، وأبقِ البيانات مقيمة، واجمع عمليات النقل، وتداخل مع المجاري، وقِس دائمًا. 🎉