เงื่อนไขแข่งขันบน GPU

บน GPU เธรดหลายพันเธรดสามารถเข้าถึงหน่วยความจำเดียวกันได้พร้อมกัน เมื่อหลายเธรดเขียนไปยังตำแหน่งเดียวกันพร้อมกัน จะเกิด สภาวะแข่งขัน 🏁

สภาวะแข่งขันเกิดขึ้นเมื่อผลลัพธ์สุดท้ายขึ้นอยู่กับลำดับการทำงานของเธรดที่คาดเดาไม่ได้ โค้ดเดียวกันอาจให้คำตอบต่างกันในการเรียกใช้แต่ละครั้ง

การเพิ่มค่าเคาน์เตอร์จริง ๆ แล้วมีสามขั้นตอน ได้แก่ อ่านค่า เพิ่มหนึ่ง และเขียนค่ากลับ ลำดับ อ่าน-แก้ไข-เขียนนี้คือจุดที่ปัญหาเกิดขึ้น

เธรดสองเธรดอ่านค่า 5 พร้อมกัน คำนวณได้ 6 พร้อมกัน และเขียนค่า 6 พร้อมกัน คุณคาดว่าจะได้ 7 แต่กลับได้ 6 การเพิ่มค่าครั้งหนึ่งหายไปโดยไม่มีสัญญาณเตือน

การเพิ่มค่าที่หายไปนี้เรียกว่า การปรับปรุงที่สูญหาย เมื่อมีเธรดหลายพันเธรดแข่งขันกัน การปรับปรุงหลายสิบหรือหลายร้อยรายการอาจหายไปพร้อมกัน

เคอร์เนลนี้ดูถูกต้อง แต่เธรดทุกเธรดกำลังแข่งขันกันเข้าถึงแอดเดรสเดียวกัน จำนวนสุดท้ายจะผิดและ เปลี่ยนแปลงไปมา ในการเรียกใช้แต่ละครั้ง

ฮาร์ดแวร์ไม่เคยรับประกันลำดับของเธรด ดังนั้นเคอร์เนลที่มีสภาวะแข่งขันจึงให้ผลลัพธ์แบบ ไม่กำหนดแน่นอน และอาจผ่านการทดสอบกับอินพุตขนาดเล็ก แต่ล้มเหลวกับอินพุตขนาดใหญ่

การที่หลายเธรด อ่านค่าเดียวกันถือว่าปลอดภัยอย่างสมบูรณ์ ปัญหาจะเริ่มขึ้นเมื่อมีเธรดอย่างน้อยหนึ่งเธรดเขียนค่า ขณะที่เธรดอื่นอ่านหรือเขียน

หากแต่ละเธรดเขียนลงช่องเฉพาะของตนเอง เช่น out[i] จะไม่มีความขัดแย้ง สภาวะแข่งขันจะเกิดขึ้นก็ต่อเมื่อเธรดมุ่งไปยังตำแหน่งเดียวกัน

วิธีแก้คือทำให้การอ่าน-แก้ไข-เขียนเกิดขึ้นเป็นขั้นตอนเดียวที่แบ่งแยกไม่ได้ นั่นคือการดำเนินการแบบ อะตอมิก ซึ่งจะอธิบายในบทถัดไป ⚛️

เมื่อตรวจทานเคอร์เนล ให้ถามว่าเธรดสองเธรดเขียนลงแอดเดรสเดียวกันโดยไม่มีการป้องกันหรือไม่ หากใช่ คุณแทบจะแน่ใจได้ว่ามี สภาวะแข่งขันของข้อมูล

คุณได้เรียนรู้ว่าการอ่าน-แก้ไข-เขียนข้อมูลใช้ร่วมกันโดยไม่มีการป้องกันทำให้เกิด สภาวะแข่งขันและการปรับปรุงที่สูญหาย บทถัดไปคืออะตอมิก ซึ่งทำให้ขั้นตอนเหล่านั้นแบ่งแยกไม่ได้ ✅