คอขวดการถ่ายโอน PCIe

CPU และ GPU อยู่บนแผงวงจรแยกกันและเชื่อมต่อด้วยบัส PCIe cudaMemcpy ทุกครั้งต้องส่งผ่านสะพานแคบ ๆ นี้ 🌉

แบนด์วิดท์ของหน่วยความจำ GPU อาจสูงถึงหลายเทราไบต์ต่อวินาที แต่ PCIe รองรับเพียงหลักสิบกิกะไบต์ บัสนี้จึงเป็นจุดเชื่อมต่อที่ช้าที่สุด

สำหรับเคอร์เนลที่ทำงานรวดเร็ว เวลา ถ่ายโอนข้อมูลอาจมากกว่าเวลาคำนวณอย่างมาก ทำให้ GPU ต้องหยุดรอข้อมูล

วิธีแก้ขั้นแรกนั้นง่ายมาก: ย้ายเฉพาะข้อมูลที่จำเป็น และทำ งานให้มากขึ้น ต่อไบต์เมื่อข้อมูลอยู่บน GPU แล้ว

หลีกเลี่ยงการส่งอาร์เรย์ไปมาซ้ำ ๆ ให้เก็บอาร์เรย์เหล่านั้นไว้บนอุปกรณ์ตลอดการทำงานของเคอร์เนลหลายตัว แทนการอัปโหลดใหม่ทุกครั้ง

การถ่ายโอนขนาดเล็กจำนวนมากจะเสียค่าใช้จ่ายพื้นฐานทุกครั้ง การ รวมเป็นชุด แล้วคัดลอกครั้งเดียวขนาดใหญ่มีประสิทธิภาพกว่ามาก 📦

คุณสามารถซ่อนต้นทุนการถ่ายโอนได้โดยทำให้การคัดลอกซ้อนทับกับการคำนวณผ่าน สตรีม เพื่อให้ GPU ทำงานไปพร้อมกับที่ข้อมูลกำลังไหล

หน่วยความจำโฮสต์แบบ ตรึง ช่วยให้ DMA และการคัดลอกแบบอะซิงโครนัสทำได้เร็วขึ้น นี่คือกุญแจสำคัญในการทำให้การถ่ายโอนซ้อนทับกับเคอร์เนลได้อย่างแท้จริง

จับเวลาแยกกันระหว่างการคัดลอกและเคอร์เนล เครื่องมือ วิเคราะห์ประสิทธิภาพ เช่น Nsight จะแสดงจุดที่บัสสร้างปัญหาให้คุณอย่างชัดเจน

หากโปรแกรมของคุณถูกจำกัดด้วย การถ่ายโอนข้อมูล เคอร์เนลที่เร็วขึ้นก็ไม่ช่วยอะไร ให้ลดการเคลื่อนย้ายข้อมูลก่อน แล้วจึงปรับปรุงการคำนวณ

สำหรับปัญหาขนาดเล็ก ต้นทุนการคัดลอกอาจมากกว่าความเร็วที่เพิ่มขึ้น GPU จะคุ้มค่าเมื่อ การคำนวณ ใช้เวลามากกว่าการถ่ายโอนอย่างชัดเจน

คุณได้เห็นแล้วว่าเหตุใด PCIe จึงเป็นจุดเชื่อมต่อที่ช้า: คัดลอกให้น้อย เก็บข้อมูลไว้บนอุปกรณ์ รวมการถ่ายโอนเป็นชุด ทำงานซ้อนกันด้วยสตรีม และวัดผลอยู่เสมอ 🎉