หน่วยความจำตรึงด้วย cudaMallocHost

หน่วยความจำแบบตรึง คือหน่วยความจำของโฮสต์ที่ระบบปฏิบัติการรับรองว่าจะไม่ย้ายหรือสลับออก ตำแหน่งทางกายภาพของหน่วยความจำจึงคงที่ และ GPU สามารถอ่านข้อมูลได้โดยตรง

คุณจะพบคำว่า ล็อกหน้า ซึ่งใช้เป็นคำพ้องความหมายกับหน่วยความจำแบบตรึง ทั้งสองคำมีความหมายเดียวกัน คือหน้าหน่วยความจำถูกล็อกไว้กับที่ จึงไม่สามารถเกิดการสลับออกได้

ขอหน่วยความจำแบบตรึงจาก CUDA ด้วย cudaMallocHost ฟังก์ชันนี้จะคืนตัวชี้โฮสต์ทั่วไป ซึ่งคุณสามารถอ่านและเขียนได้เหมือนอาร์เรย์ C++ ทั่วไป

ตัวชี้ที่คืนมาจะทำงานเหมือนบัฟเฟอร์โฮสต์ทั่วไป ดังนั้นโค้ดของ CPU จึงไม่ต้องเปลี่ยนแปลง เพียงเติมข้อมูลและอ่านข้อมูลเหมือนเดิม

เนื่องจากหน้าหน่วยความจำไม่สามารถย้ายได้ ไดรเวอร์จึงข้ามการคัดลอกไปยังพื้นที่พักที่ซ่อนอยู่ GPU จะดึงข้อมูลจากบัฟเฟอร์ของคุณโดยตรง ทำให้ การคัดลอกซ้ำสองครั้ง หายไป

ผลลัพธ์คือแบนด์วิดท์ที่เพิ่มขึ้นจริง การถ่ายโอนด้วยหน่วยความจำแบบตรึงมักทำความเร็วได้ใกล้กับความเร็ว สูงสุด ของลิงก์ และบางครั้งเร็วกว่าแบบที่สลับหน้าได้ประมาณสองเท่า

หน่วยความจำแบบตรึงต้องใช้ฟังก์ชันคืนหน่วยความจำที่ตรงกัน ให้ใช้ cudaFreeHost และอย่าใช้ free แบบทั่วไป มิฉะนั้นอาจเกิดข้อขัดข้องและหน่วยความจำรั่วได้

หน้าหน่วยความจำแบบตรึงไม่สามารถสลับออกได้ จึงยึด RAM จริงไว้ หากตรึงมากเกินไป ระบบส่วนที่เหลือจะมีหน่วยความจำที่ใช้งานได้ไม่เพียงพอ

การล็อกหน้าหน่วยความจำต้องใช้การดำเนินการเพิ่มเติม ดังนั้น cudaMallocHost จึงจัดสรรได้ ช้ากว่า malloc ให้ใช้บัฟเฟอร์แบบตรึงเดิมซ้ำกับการถ่ายโอนหลายครั้ง แทนการจัดสรรใหม่ทุกครั้ง

นอกเหนือจากความเร็ว หน่วยความจำแบบตรึงคือกุญแจสำคัญที่ทำให้การคัดลอกแบบ อะซิงโครนัสทำงานได้อย่างแท้จริง หากไม่มีหน่วยความจำนี้ cudaMemcpyAsync จะทำงานซ้อนทับกับสิ่งอื่นไม่ได้

ตรึงบัฟเฟอร์ที่คุณถ่ายโอนบ่อยหรือใช้ป้อนข้อมูลให้กับ สตรีม สำหรับการคัดลอกอาร์เรย์ขนาดเล็กเพียงครั้งเดียว malloc แบบทั่วไปก็เพียงพอแล้ว 🙂

cudaMallocHost จะตรึงหน้าโฮสต์ไว้ ทำให้ GPU อ่านข้อมูลได้โดยตรง จึงคัดลอกได้เร็วขึ้นและทำให้การทำงานซ้อนทับแบบอะซิงโครนัสเป็นไปได้ ให้คืนหน่วยความจำด้วย cudaFreeHost เสมอ 🔒