จำกัดด้วยการคำนวณเทียบกับจำกัดด้วยหน่วยความจำ

เคอร์เนลทุกตัวจะชนกับขีดจำกัดหนึ่งในสองแบบ ได้แก่ ถูกจำกัดด้วยการคำนวณ ซึ่งถูกจำกัดโดยการคำนวณทางคณิตศาสตร์ หรือถูกจำกัดด้วยหน่วยความจำ ซึ่งถูกจำกัดโดยการเคลื่อนย้ายข้อมูล ⚖️

เคอร์เนลที่ ถูกจำกัดด้วยการคำนวณจะทำให้หน่วยคำนวณทำงานอยู่เสมอ และแทบไม่ต้องรอหน่วยความจำ ขีดจำกัดของมันคือปริมาณงานเลขคณิตดิบ

เคอร์เนลที่ ถูกจำกัดด้วยหน่วยความจำใช้เวลาส่วนใหญ่รอข้อมูล แกนประมวลผลจะว่างอยู่ขณะที่ไบต์ต่าง ๆ ค่อย ๆ เข้ามาจากหน่วยความจำส่วนกลาง

อัตราส่วนสำคัญคือ ความเข้มข้นทางเลขคณิต ซึ่งหมายถึงจำนวนการดำเนินการทางคณิตศาสตร์ต่อไบต์ที่โหลดมา ค่าสูงโน้มไปทางการคำนวณ ค่าต่ำโน้มไปทางหน่วยความจำ

บนแผนภูมิ เพดานประสิทธิภาพ เคอร์เนลที่มีความเข้มข้นต่ำจะชนเพดานหน่วยความจำที่เป็นเส้นลาด ส่วนเคอร์เนลที่มีความเข้มข้นสูงจะชนเพดานการคำนวณแนวราบ

การแก้ขีดจำกัดผิดด้านทำให้เสียแรงเปล่า การเพิ่มการคำนวณให้เคอร์เนลที่ ถูกจำกัดด้วยหน่วยความจำไม่เปลี่ยนแปลงอะไร คุณต้องลดการรับส่งข้อมูลแทน

หากต้องการเร่งเคอร์เนลที่ถูกจำกัดด้วยหน่วยความจำ ให้ รวมการเข้าถึง ใช้ข้อมูลซ้ำในหน่วยความจำใช้ร่วม และเก็บค่าไว้ในแคชเพื่อลดการอ่าน

สำหรับงานที่ถูกจำกัดด้วยการคำนวณ ให้เพิ่ม การทำงานแบบขนาน ใช้การคำนวณที่เร็วขึ้น หรือใช้แกนประมวลผลเทนเซอร์เพื่อข้ามเพดานการคำนวณ

ในทางปฏิบัติ เคอร์เนล CUDA ส่วนใหญ่ ถูกจำกัดด้วยหน่วยความจำ แบนด์วิดท์มักเป็นทรัพยากรที่ขาดแคลน ไม่ใช่การคำนวณทางเลขคณิต

อย่าเดาว่าขีดจำกัดอยู่ที่ใด แผนภูมิเพดานประสิทธิภาพใน Nsight Compute จะวางเคอร์เนลของคุณไว้ใต้เพดานที่ถูกต้องให้เอง

ถามคำถามเดียวว่า แกนประมวลผลหรือ ท่อส่งหน่วยความจำอยู่ใกล้ค่าสูงสุดมากกว่ากัน สิ่งใดอิ่มตัว สิ่งนั้นคือขีดจำกัดของคุณ

เคอร์เนลมีความเข้มข้นทางเลขคณิตต่ำมาก

วินิจฉัยขีดจำกัดก่อน: เคอร์เนลที่ ถูกจำกัดด้วยหน่วยความจำต้องลดการรับส่งข้อมูล ส่วนเคอร์เนลที่ถูกจำกัดด้วยการคำนวณต้องเพิ่มการคำนวณ แผนภูมิเพดานประสิทธิภาพจะบอกว่าควรเลือกแบบใด 👏