ปัญหาการใช้ข้อมูลซ้ำ

เคอร์เนลอาจทำงานถูกต้องแต่ช้า เพราะดึงข้อมูลเดิมจากหน่วยความจำส่วนกลางที่ช้าซ้ำแล้วซ้ำเล่า 🐢

บน GPU การคำนวณมีต้นทุนต่ำ แต่การเข้าถึงหน่วยความจำส่วนกลางมีต้นทุนสูง เคอร์เนลจำนวนมากรอหน่วยความจำมากกว่าที่ใช้คำนวณ

การใช้ข้อมูลซ้ำหมายถึงการนำค่าหนึ่งค่าที่โหลดจากหน่วยความจำส่วนกลางไปใช้ในการคำนวณหลายครั้ง แทนที่จะอ่านใหม่ทุกครั้ง

ลองนึกภาพการทำให้ภาพเบลอ พิกเซลผลลัพธ์แต่ละพิกเซลจะหาค่าเฉลี่ยจากเพื่อนบ้าน ดังนั้นพิกเซลอินพุตแต่ละพิกเซลจึงถูกอ่านโดยเธรดหลายเธรด

ในการทำให้ภาพเบลอนั้น ค่า in[i] ถูกอ่านโดยเธรด i-1, i และ i+1 ไบต์เดียวกันจึงเดินทางผ่านบัสที่ป้อนข้อมูลด้วย PCIe ซึ่งช้า ถึงสามครั้ง

เมื่อใช้หน้าต่างที่กว้างขึ้นหรือตารางสองมิติ แต่ละสมาชิกอาจถูกอ่านซ้ำหลายสิบครั้งการรับส่งข้อมูลซ้ำซ้อนนี้จึงครองเวลาทำงานส่วนใหญ่

หน่วยความจำส่วนกลางมีแบนด์วิดท์สูงสุดที่กำหนดตายตัว การอ่านข้อมูลเดิมซ้ำ ๆ ทำให้โควตานั้นสูญเปล่าไปกับไบต์ที่คุณมีอยู่แล้ว

ขณะที่เวิร์ปหยุดรอการโหลดซ้ำจากหน่วยความจำส่วนกลาง หน่วยคณิตศาสตร์กลับว่างอยู่ คุณจ่ายเงินซื้อแกนประมวลผลมาแทบไม่ได้ใช้งาน 😴

ความเข้มข้นทางคณิตศาสตร์คืออัตราส่วนระหว่างจำนวนการดำเนินการทางคณิตศาสตร์กับจำนวนไบต์ที่เคลื่อนย้าย ความเข้มข้นต่ำหมายความว่าหน่วยความจำ ไม่ใช่การคำนวณ เป็นตัวจำกัดประสิทธิภาพ

วิธีแก้คือโหลดค่าแต่ละค่าที่ต้องใช้เพียงครั้งเดียวไปไว้ในหน่วยเก็บข้อมูลบนชิปที่รวดเร็ว แล้วให้หลายเธรดนำค่าจากที่นั่นไปใช้ซ้ำ

หน่วยเก็บข้อมูลบนชิปที่รวดเร็วนั้นคือหน่วยความจำร่วม การเตรียมข้อมูลไว้ที่นั่นเป็นพื้นฐานของการปรับปรุงประสิทธิภาพด้วยไทล์ทั้งหมดที่จะกล่าวต่อไป

เหตุใดเคอร์เนลสเตนซิลแบบพื้นฐานจึงมักทำงานช้า

เคอร์เนลแบบพื้นฐานอ่านข้อมูลร่วมซ้ำจากหน่วยความจำส่วนกลาง ทำให้แบนด์วิดท์สูญเปล่าและหน่วยคำนวณต้องหยุดรอ การใช้ไทล์มีไว้เพื่อโหลดครั้งเดียวแล้วนำกลับมาใช้ซ้ำ ✅