เลือกจำนวนเธรดต่อบล็อก

เมื่อคุณเริ่มทำงานด้วยเคอร์เนล คุณต้องเลือกว่าจะใช้ เธรดต่อบล็อกจำนวนเท่าใด ตัวเลือกเล็ก ๆ นี้ส่งผลต่อประสิทธิภาพจริง

GPU ทำงานด้วยเธรดเป็นกลุ่มละ 32 เธรด เรียกว่าการจัดกลุ่มแบบเวิร์ป ดังนั้นให้เลือกจำนวนที่เป็น พหุคูณของ 32 เสมอ ขนาดที่ไม่ลงตัวจะทำให้ช่องประมวลผลในเวิร์ปที่ไม่เต็มสูญเปล่า

ค่าที่เหมาะสำหรับเริ่มต้นคือ 128 หรือ 256 เธรดต่อบล็อก ทั้งสองค่าเป็นพหุคูณของ 32 และทำงานได้ดีบน GPU เกือบทุกรุ่น

บน GPU รุ่นปัจจุบัน บล็อกหนึ่งมีได้ไม่เกิน 1024 เธรด หากขอมากกว่านี้ การเริ่มทำงานจะล้มเหลวพร้อมข้อผิดพลาด

บล็อกที่เล็กมาก เช่น 32 เธรด อาจทำให้ GPU ถูกใช้งานไม่เต็มที่ ตัวจัดตารางจะมี เวิร์ปน้อยลงสำหรับใช้ซ่อนเวลาหน่วงของหน่วยความจำ

บล็อกขนาดใหญ่อาจใช้รีจิสเตอร์หรือหน่วยความจำร่วมจนหมด ทำให้มีบล็อกต่อหนึ่งตัวประมวลผลหลายตัวได้น้อยลง ขนาดใหญ่กว่าไม่ได้ดีกว่าเสมอไป

เมื่อกำหนดจำนวนเธรดต่อบล็อกแล้ว ให้ปัดจำนวน บล็อกขึ้นเพื่อให้ครอบคลุมทุกองค์ประกอบ แม้จำนวนดังกล่าวจะหารกันไม่ลงตัว

การปัดขึ้นหมายความว่าจะมี เธรดเกินมาเล็กน้อย ให้ป้องกันเคอร์เนลด้วยคำสั่ง if เพื่อไม่ให้เธรดเหล่านั้นเข้าถึงหน่วยความจำเลยจุดสิ้นสุดของอาร์เรย์

คุณสามารถขอให้ CUDA เลือก ขนาดบล็อกที่เหมาะสมโดยอัตโนมัติด้วยตัวช่วยประเมินการใช้ทรัพยากร แล้วจึงปรับแต่งจากคำแนะนำนั้น

ขนาดที่ดีที่สุดจริง ๆ ขึ้นอยู่กับเคอร์เนลและ GPU ของคุณ เริ่มที่ 256 จากนั้น ทดสอบประสิทธิภาพค่าบางค่าแล้วเลือกค่าที่เร็วที่สุด

สำหรับเคอร์เนลระดับเริ่มต้นส่วนใหญ่ การใช้ เธรดต่อบล็อก 256 เธรดร่วมกับจำนวนบล็อกที่ปัดขึ้น เป็นจุดเริ่มต้นที่เชื่อถือได้และรวดเร็ว

เลือกตัวเลือกที่เหมาะสมที่สุดสำหรับจำนวนเธรดต่อบล็อก

คุณได้เรียนรู้การกำหนดขนาดบล็อกแล้ว: ใช้ พหุคูณของ 32 ตั้งต้นที่ 256 อย่าเกิน 1024 ปัดจำนวนบล็อกขึ้น และทดสอบประสิทธิภาพ 🏁