ความหนาแน่นการใช้งานหมายถึงอะไร

คอร์ GPU แต่ละคอร์ที่เรียกว่า SM สามารถเก็บวอร์ปไว้ทำงานพร้อมกันได้หลายตัว การครอบครองทรัพยากรใช้วัดว่าความจุนั้นถูกใช้งานเต็มที่เพียงใด 🎯

การครอบครองทรัพยากรคืออัตราส่วนระหว่างจำนวนวอร์ปที่ทำงานอยู่บน SM กับจำนวนวอร์ปสูงสุดที่ SM นั้นรองรับได้ ยิ่งมีวอร์ปประจำอยู่มาก เครื่องก็ยิ่งถูกใช้งานเต็มที่

เมื่อวอร์ปหนึ่งหยุดรอการอ่านหน่วยความจำที่ช้า SM จะเรียกใช้ วอร์ปที่พร้อมทำงานตัวอื่นทันที การสลับนี้คือวิธีที่ GPU ซ่อนเวลาแฝง

สถาปัตยกรรมแต่ละแบบกำหนดเพดานไว้ โดยมักอยู่ที่ 64 วอร์ปต่อ SM การครอบครองทรัพยากรจะเปรียบเทียบเคอร์เนลของคุณกับขีดจำกัดของฮาร์ดแวร์นี้

การครอบครองทรัพยากรตามทฤษฎีคือค่าที่การตั้งค่าการเปิดใช้งานของคุณรองรับได้บนกระดาษ ส่วนการครอบครองทรัพยากรที่ทำได้จริงคือค่าที่เกิดขึ้นจริง ซึ่งวัดโดยเครื่องมือทำโพรไฟล์

หาก SM รองรับ 64 วอร์ป แต่เคอร์เนลของคุณมีวอร์ปประจำอยู่เพียง 32 ตัว การครอบครองทรัพยากรของคุณจะเท่ากับ 50% พลังในการซ่อนเวลาแฝงครึ่งหนึ่งไม่ได้ถูกใช้งาน

การครอบครองทรัพยากรจะนับเป็น วอร์ปเสมอ ไม่ใช่นับเป็นเธรดเดี่ยว วอร์ปหนึ่งตัวมี 32 เธรด ดังนั้นบล็อกที่มี 256 เธรดจึงมี 8 วอร์ปพอดี

ตัวจัดตารางจะแบ่งบล็อกที่ประจำอยู่แต่ละบล็อกออกเป็นวอร์ป ดังนั้นจำนวน บล็อกต่อ SMคูณด้วยจำนวนวอร์ปต่อบล็อก จะได้จำนวนวอร์ปที่ทำงานอยู่

ทรัพยากรสามอย่างจำกัดการครอบครองทรัพยากร ได้แก่ รีจิสเตอร์ต่อเธรด หน่วยความจำใช้ร่วมกันต่อบล็อก และขีดจำกัดจำนวนวอร์ปของ SM ค่าที่ตึงตัวที่สุดเป็นตัวตัดสิน

การครอบครองทรัพยากรที่มากขึ้นมักช่วยซ่อนเวลาแฝงได้ดีขึ้น แต่เมื่อเกินจุดหนึ่งก็ ไม่ให้ประโยชน์เพิ่ม เป็นเพียงเครื่องมือ ไม่ใช่เป้าหมายสุดท้าย

เครื่องมือทำโพรไฟล์อย่าง Nsight Compute จะแสดง การครอบครองทรัพยากรที่ทำได้จริงถัดจากเคอร์เนลของคุณ ค่านี้คือจุดเริ่มต้นในการปรับแต่ง

คุณได้เรียนรู้ว่า การครอบครองทรัพยากรคือจำนวนวอร์ปที่ทำงานอยู่เทียบกับจำนวนสูงสุดของ SM โดยนับเป็นวอร์ป และช่วยซ่อนเวลาแฝง 🚀