การขนานระดับคำสั่ง

ภายในเธรดเดียว GPU สามารถทำให้คำสั่งอิสระหลายคำสั่งอยู่ระหว่างการทำงานพร้อมกันได้ การทำงานซ้อนกันนี้เรียกว่า การทำงานขนานระดับคำสั่ง หรือ ILP

การดำเนินการด้านหน่วยความจำและคณิตศาสตร์ต้องใช้หลายรอบกว่าจะเสร็จ หากแต่ละเธรดมีงานที่เป็นอิสระเพียงพอ ฮาร์ดแวร์จะซ่อน เวลาแฝง เหล่านั้นแทนที่จะหยุดรอ

หากแต่ละบรรทัดต้องใช้ผลลัพธ์จากบรรทัดก่อนหน้า ก็จะไม่มีสิ่งใดทำงานซ้อนกันได้ สายโซ่การพึ่งพาที่ยาวจะบังคับให้เธรดรอทีละขั้น

เมื่อการดำเนินการไม่พึ่งพากัน ตัวจัดตารางสามารถส่งคำสั่งเหล่านั้นต่อเนื่องกันได้ การแยกสายโซ่ออกเป็นส่วนที่ เป็นอิสระ คือหัวใจของ ILP

วิธีง่าย ๆ ในการเพิ่ม ILP คือให้แต่ละเธรดประมวลผลสมาชิกหลายตัว ผลรวมที่แยกจากกันจะกลายเป็นงานที่ เป็นอิสระ ซึ่งฮาร์ดแวร์สามารถทำงานซ้อนกันได้

การรวมผลลงในตัวแปรเดียวจะสร้างสายโซ่ การแบ่งงานไปยัง ตัวสะสม หลายตัวช่วยให้การบวกที่เป็นอิสระทำงานแบบขนานได้ ก่อนนำมารวมกัน

หลังจบลูป ให้นำ ตัวสะสม บางส่วนมารวมเป็นคำตอบสุดท้าย การพึ่งพากันเพียงจุดเดียวจะเกิดขึ้นครั้งเดียว ไม่ใช่ทุกครั้งที่วนซ้ำ

การเก็บค่ามากขึ้นต่อเธรดจะใช้ รีจิสเตอร์ มากขึ้น ความกดดันต่อรีจิสเตอร์ที่เพิ่มขึ้นเล็กน้อยมักคุ้มค่ากับเวลาแฝงที่ซ่อนได้ แต่ควรระวังการล้นไปยังหน่วยความจำ

GPU ซ่อนการหยุดรอด้วยเธรดที่ประจำอยู่จำนวนมากและด้วย ILP ภายในแต่ละเธรด ILP ที่ดีสามารถทำให้ SM ทำงานอยู่ได้ แม้ระดับการครอบครองจะไม่สูง

หากต้องการเพิ่ม ILP ให้มองหา สายโซ่การพึ่งพาที่ยาวที่สุดในลูปด้านใน ปรับโครงสร้างให้เป็นส่วนที่สั้นและเป็นอิสระ เพื่อเปิดเผยการทำงานขนานให้มากขึ้น

ค่าที่เป็นอิสระมากเกินไปอาจทำให้รีจิสเตอร์ล้นและทำให้ช้าลง ค่อย ๆ ปรับ ILP และให้ เครื่องมือวิเคราะห์ประสิทธิภาพยืนยันว่าแต่ละขั้นช่วยได้จริง

การลดค่าของคุณรวมผลลงในตัวแปรเดียวทุกครั้งที่วนซ้ำ คุณจะเพิ่ม ILP ได้อย่างไร

คุณได้เห็นแล้วว่า ILP ซ่อนเวลาแฝงด้วยการทำให้คำสั่งที่เป็นอิสระทำงานพร้อมกัน แยกสายโซ่การพึ่งพาและใช้ตัวสะสมหลายตัว แต่ต้องคำนึงถึงความกดดันต่อรีจิสเตอร์ด้วย 🚀