การแจกแจงและเลือกอุปกรณ์

เครื่องหนึ่งเครื่องสามารถมี GPU ได้หลายตัว หากต้องการใช้ทั้งหมด โปรแกรมต้องตรวจสอบก่อนว่ามี อุปกรณ์อยู่กี่ตัว ก่อนส่งงานไปให้ทำ

การเรียกใช้หนึ่งครั้งจะบอกจำนวน GPU ที่สภาพแวดล้อมขณะทำงานมองเห็น cudaGetDeviceCount จะเขียนจำนวนนั้นลงใน int ที่คุณส่งให้

GPU แต่ละตัวจะได้รับรหัสจำนวนเต็มตั้งแต่ 0 ถึงจำนวนนั้นลบหนึ่ง รหัสอุปกรณ์นี้ใช้ระบุ GPU ใด GPU หนึ่งให้สภาพแวดล้อมขณะทำงานทราบ

คุณเลือก GPU เป้าหมายสำหรับการเรียกใช้ครั้งถัดไปด้วย cudaSetDevice หลังจากนั้น การจัดสรรหน่วยความจำและการเปิดใช้งานเคอร์เนลจะไปยังการ์ดนั้น

ในแต่ละขณะ GPU เพียงหนึ่งตัวเท่านั้นที่เป็น อุปกรณ์ปัจจุบันของเธรดที่เรียกใช้ ทุก cudaMalloc หรือการเปิดใช้งานเคอร์เนลจะไปยังอุปกรณ์ที่เป็นปัจจุบัน

ก่อนวางใจ GPU คุณสามารถอ่านข้อมูลจำเพาะของมันได้ cudaGetDeviceProperties จะเติมข้อมูลลงในโครงสร้าง ซึ่งประกอบด้วยชื่อ ขนาดหน่วยความจำ และความสามารถด้านการคำนวณ

โครงสร้างคุณสมบัติมีข้อมูลมากมาย ฟิลด์อย่าง name และ totalGlobalMem ช่วยให้คุณเลือกการ์ดที่ดีที่สุด หรือข้ามการ์ดที่มีขนาดเล็กเกินไป

ตัวชี้จาก cudaMalloc เป็นของ GPU ที่เป็นอุปกรณ์ปัจจุบันในขณะนั้น การใช้งานตัวชี้ดังกล่าวขณะที่ อุปกรณ์อื่นเป็นอุปกรณ์ปัจจุบันจะทำให้เกิดข้อผิดพลาดได้

เบื้องหลัง GPU แต่ละตัวมี บริบทที่เก็บการจัดสรรหน่วยความจำและสตรีมของมัน การเปลี่ยนอุปกรณ์ปัจจุบันจะเปลี่ยนเข้าสู่บริบทของอุปกรณ์นั้น

รูปแบบที่ใช้กันทั่วไปคือวนรอบโดยเรียก cudaSetDevice สำหรับแต่ละรหัส แล้วตั้งค่าบนการ์ดนั้น วิธีนี้ช่วยกระจายงานไปยัง อุปกรณ์ทุกตัว

หากฟังก์ชันช่วยเหลือเปลี่ยนอุปกรณ์ปัจจุบัน ให้เปลี่ยนกลับเมื่อทำงานเสร็จ การปล่อยให้ อุปกรณ์ปัจจุบันเปลี่ยนไปอาจทำให้โค้ดส่วนอื่นทำงานผิดคาด

คุณนับจำนวน GPU เลือกหนึ่งตัวด้วย cudaSetDevice และตรวจสอบด้วยคุณสมบัติ อุปกรณ์แต่ละตัวเป็นเจ้าของหน่วยความจำและบริบทของตนเอง ถัดไป: แบ่งงานระหว่างอุปกรณ์เหล่านั้น ✨