ย้ายหน้าหน่วยความจำตามต้องการ

สำหรับหน่วยความจำแบบจัดการ ข้อมูลไม่มีตำแหน่งประจำ ข้อมูลจะย้ายไปมาระหว่าง CPU และ GPU อย่างเงียบ ๆ ผ่าน การย้ายหน้าตามความต้องการ โดยติดตามตำแหน่งที่คุณใช้งาน

ระบบติดตามหน่วยความจำเป็นส่วนย่อยขนาดคงที่ที่เรียกว่า หน้า ซึ่งมักมีขนาด 4 KB หรือ 64 KB การย้ายจะเกิดขึ้นทีละหน้า ไม่ใช่ทีละไบต์

เมื่อ GPU เข้าถึงหน้าที่อยู่บน CPU ระบบจะสร้าง ข้อผิดพลาดของหน้า ไดรเวอร์จะหยุดชั่วคราว คัดลอกหน้านั้นไป แล้วจึงปล่อยให้เธรดทำงานต่อ

กฎนั้นเรียบง่าย ข้อมูลจะ ย้ายไปยังผู้ที่ใช้งาน หากเขียนบน CPU หน้าจะอยู่ที่ CPU หากอ่านในเคอร์เนล หน้าจะย้ายไปยัง GPU

ต้นทุนจะเกิดขึ้นเมื่อมีการเข้าถึง ครั้งแรกจากฝั่งใหม่ หลังจากหน้ามาถึงแล้ว การอ่านครั้งถัดไปบนอุปกรณ์เดิมจะรวดเร็วและเกิดขึ้นในหน่วยความจำเฉพาะที่

หาก CPU และ GPU เข้าถึงหน้าเดิมสลับกันไปมา หน้าเหล่านั้นจะเด้งกลับไปกลับมา การย้ายแบบ ไปกลับนี้อาจทำให้อัตราการประมวลผลโดยรวมลดลงอย่างมากโดยไม่รู้ตัว

ข้อผิดพลาดแต่ละครั้งมีต้นทุนจากการเตรียมการ ดังนั้นข้อผิดพลาดเล็ก ๆ หลายพันครั้งจึงมีค่าใช้จ่ายสูง การย้ายข้อมูลแบบ เป็นกลุ่มดีกว่าการทำให้เกิดข้อผิดพลาดกับหน้าที่กระจัดกระจายทีละหน้า

แม้ระบบจะย้ายข้อมูลโดยอัตโนมัติ แต่ รูปแบบการเข้าถึงที่ดีก็ยังให้ผลลัพธ์ที่ดีกว่า เธรดที่อ่านที่อยู่ใกล้กันจะดึงทั้งหน้ามาได้อย่างมีประสิทธิภาพ แทนที่จะทำให้เกิดข้อผิดพลาดกระจัดกระจาย

การย้ายข้อมูลทำให้คุณจัดสรรหน่วยความจำได้มากกว่าที่ GPU มี หน้าใหม่จะถูกนำเข้ามาตามต้องการ และหน้าเก่าจะถูก นำออก ดังนั้นชุดข้อมูลขนาดใหญ่ยังทำงานได้ เพียงแต่ช้าลง

เครื่องมือวิเคราะห์ประสิทธิภาพอย่าง Nsight Systems จะแสดงการรับส่งข้อมูลจากการย้ายและจำนวนข้อผิดพลาด การพบการ ย้ายข้อมูลจำนวนมากจะบอกได้อย่างชัดเจนว่าควรเพิ่มคำแนะนำตรงจุดใด

การย้ายตามความต้องการทำงานโดยอัตโนมัติได้อย่างยอดเยี่ยม แต่ข้อผิดพลาดไม่ได้เกิดขึ้นโดยไม่มีต้นทุน การรู้ ต้นทุนทำให้คุณแก้ไขได้ด้วยการดึงข้อมูลล่วงหน้าและคำแนะนำ

คุณได้เห็นแล้วว่าหน้าแบบจัดการจะ ย้ายเมื่อเกิดข้อผิดพลาดไปยังผู้ที่ใช้งานหน้าเหล่านั้น การเข้าถึงครั้งแรกช้า การย้ายไปมาทำให้เสียประสิทธิภาพ และการย้ายข้อมูลเป็นกลุ่มให้ผลดีกว่า เดินหน้าต่อกันเลย 🚀