รูปแบบโหลด-ซิงค์-คำนวณ

การใช้ไทล์มีจังหวะเดียวกันในทุกเคอร์เนล: โหลดไทล์เข้าสู่หน่วยความจำร่วม ซิงก์ แล้วคำนวณจากสำเนาที่รวดเร็ว

ในระยะโหลด แต่ละเธรดจะอ่านสมาชิกหนึ่งตัวจากหน่วยความจำส่วนกลาง แล้วเก็บไว้ในไทล์ของหน่วยความจำร่วมที่ทั้งบล็อกมองเห็นได้

การโหลดเป็นงานของทีม เธรดทุกเธรดจะดึงส่วนของตนเอง ดังนั้นทั้งบล็อกจึงเตรียมไทล์เต็มหนึ่งไทล์ด้วยการอ่านแบบรวมต่อเนื่องเพียงครั้งเดียว

ก่อนที่ใครจะอ่านค่าของเพื่อนบ้าน เธรดทุกเธรดต้องโหลดข้อมูลให้เสร็จก่อน __syncthreads คือจุดกั้นที่รับรองว่าไทล์พร้อมใช้งาน

หากข้ามจุดกั้น เธรดหนึ่งอาจอ่านช่องของไทล์ที่เพื่อนบ้านยังเขียนไม่เสร็จ นั่นคือการแข่งขันของการเข้าถึงและทำให้ได้ผลลัพธ์ผิดพลาด 💥

ตอนนี้ค่าทุกค่าอยู่บนชิปแล้ว ในระยะคำนวณ เธรดจะอ่านสมาชิกของไทล์ได้อย่างอิสระ เพราะหน่วยความจำร่วมเร็วกว่าหน่วยความจำส่วนกลางมาก

เนื่องจากไทล์อยู่ในหน่วยความจำร่วม ค่าที่โหลดครั้งเดียวจึงถูกนำกลับมาใช้โดยหลายเธรดด้วยต้นทุนเพิ่มเติมแทบเป็นศูนย์ นี่คือประโยชน์ทั้งหมด

หากระยะคำนวณเขียนค่ากลับลงในไทล์เดิมเพื่อใช้ในขั้นถัดไป ให้เพิ่ม __syncthreads ครั้งที่สอง ก่อนนำช่องเหล่านั้นกลับมาใช้

เธรดทุกเธรดในบล็อกต้องมาถึง __syncthreads หากบางเธรดข้ามจุดนี้ภายในแขนง เคอร์เนลจะหยุดรอไม่สิ้นสุดหรือทำงานผิดพลาด

โหลด ซิงก์ คำนวณ คือแม่แบบที่คุณจะนำกลับมาใช้กับการคอนโวลูชัน การคูณเมทริกซ์ และการลดค่าตลอดหมวดนี้

ไทล์ของหน่วยความจำร่วมต้องมีขนาดพอดีกับบล็อก ความกว้างของไทล์มักเท่ากับ blockDim ดังนั้นแต่ละเธรดจึงเป็นเจ้าของช่องที่ต้องโหลดและใช้ซ้ำหนึ่งช่องพอดี

เหตุใดจึงต้องใช้ __syncthreads ระหว่างการโหลดกับการคำนวณ

การใช้ไทล์คือโหลด ซิงก์ คำนวณ: เตรียมไทล์ร่วมกัน ใช้จุดกั้นเพื่อให้ไทล์เสร็จสมบูรณ์ แล้วนำกลับมาใช้บนชิปอย่างรวดเร็ว ✅