cudaMalloc และ cudaFree

GPU ของคุณไม่ได้ยืมหน่วยความจำหลักของคอมพิวเตอร์ แต่มีพื้นที่แยกต่างหากที่เรียกว่า หน่วยความจำโกลบอล ซึ่งเคอร์เนลใช้สำหรับอ่านและเขียน 🧠

ก่อนที่เคอร์เนลจะใช้หน่วยความจำบนอุปกรณ์ได้ คุณต้องจองพื้นที่ส่วนหนึ่งด้วยตนเอง ฟังก์ชันที่ใช้จองพื้นที่นี้คือ cudaMalloc

cudaMalloc รับแอดเดรสของตัวชี้และจำนวนไบต์ จากนั้นใส่แอดเดรสใหม่บนอุปกรณ์ลงในตัวชี้นั้น

คุณส่ง &d_data เพื่อให้ cudaMalloc เขียนแอดเดรสใหม่กลับลงในตัวแปรของคุณ ค่าที่ส่งคืนสงวนไว้สำหรับรหัสข้อผิดพลาด

cudaMalloc คิดเป็นหน่วย ไบต์ดิบ ไม่ใช่จำนวนสมาชิก ให้คูณจำนวนสมาชิกด้วย sizeof(type) เพื่อให้บัฟเฟอร์มีขนาดถูกต้อง

เมื่อใช้บัฟเฟอร์เสร็จแล้ว ให้คืนพื้นที่แก่ GPU ด้วย cudaFree วิธีนี้จะปล่อยหน่วยความจำโกลบอลให้กับงานอื่น

ให้ถือว่า cudaMalloc และ cudaFree เป็นคู่กัน การจองพื้นที่ทุกครั้งควรมีการคืนพื้นที่ที่ตรงกันเพียงครั้งเดียว

หน่วยความจำใหม่จาก cudaMalloc มีค่าขยะอยู่ การอ่านก่อนเขียนหรือคัดลอกข้อมูลลงไปจะให้ผลลัพธ์ที่คาดเดาไม่ได้

หาก GPU ไม่มีหน่วยความจำเหลือ cudaMalloc จะส่งคืนข้อผิดพลาดแทนการทำให้โปรแกรมหยุดทำงาน ในโค้ดจริงควรตรวจสอบรหัสที่ส่งคืนเสมอ

บัฟเฟอร์จาก cudaMalloc อยู่ใน หน่วยความจำโกลบอล ซึ่งมีพื้นที่ระดับกิกะไบต์ แต่เป็นระดับที่ช้าที่สุดบนชิป จึงใช้ได้มากตามต้องการ แต่ควรใส่ใจรูปแบบการเข้าถึง

โปรแกรม CUDA เกือบทุกโปรแกรมทำตามลำดับเดียวกัน: cudaMalloc คัดลอกข้อมูลเข้า เปิดใช้งานเคอร์เนล คัดลอกผลลัพธ์ออก แล้วจึง cudaFree

คุณได้เรียนรู้การจองหน่วยความจำ GPU ด้วย cudaMalloc โดยกำหนดขนาดเป็นไบต์ และคืนพื้นที่ด้วย cudaFree เป็นคู่ที่ตรงกัน 🎉