แบบจำลองทางความคิดของลำดับชั้น

ลองนึกถึงหน่วยความจำของ GPU เป็นพีระมิด ด้านบนมีขนาดเล็กและเร็วมาก ส่วนฐานมีขนาดใหญ่แต่ช้า หน้าที่ของคุณคือใช้แต่ละชั้นให้เหมาะสม

ที่ยอดพีระมิดคือรีจิสเตอร์ ซึ่งเป็นพื้นที่ต่อเธรด เร็วที่สุด และมีจำกัด ควรเก็บค่าที่ใช้งานบ่อยที่สุดไว้ที่นี่เมื่อทำได้

ถัดลงมาคือหน่วยความจำที่ใช้ร่วมกัน ซึ่งเป็นพื้นที่ชั่วคราวบนชิปที่เธรดทั้งหมดในบล็อกมองเห็นได้ นี่คือเครื่องมือสำหรับการทำงานร่วมกันภายในบล็อกอย่างรวดเร็ว

ด้านข้างมีแคชค่าคงที่ ซึ่งเหมาะสำหรับค่าขนาดเล็กที่อ่านอย่างเดียว โดยวาร์ปจะอ่านค่าเหล่านั้นแบบเดียวกันและกระจายข้อมูลจากการดึงเพียงครั้งเดียว

ฐานกว้างคือหน่วยความจำส่วนกลาง ซึ่งมีขนาดระดับกิกะไบต์และทุกส่วนมองเห็นได้ แต่มีเวลาแฝงสูง พื้นที่นี้เก็บข้อมูลนำเข้าและส่งออกขนาดใหญ่ของคุณ

ระวังหน่วยความจำภายในเครื่อง แม้ชื่อจะฟังดูเหมือนอยู่ใกล้ แต่จริง ๆ แล้วอยู่ใน DRAM ที่ช้า และจะถูกใช้เมื่อรีจิสเตอร์ล้นเท่านั้น หลีกเลี่ยงการพึ่งพาพื้นที่นี้

เลือกพื้นที่ตามผู้ที่ต้องใช้ข้อมูล เธรดเดียวต้องการรีจิสเตอร์ บล็อกที่ทำงานร่วมกันต้องการหน่วยความจำที่ใช้ร่วมกัน และทุกส่วนต้องการหน่วยความจำส่วนกลาง

รีจิสเตอร์และหน่วยความจำที่ใช้ร่วมกันจะหายไปเมื่อเคอร์เนลสิ้นสุด แต่หน่วยความจำส่วนกลางยังคงอยู่ระหว่างการเริ่มทำงาน จัดพื้นที่จัดเก็บให้สอดคล้องกับระยะเวลาที่ข้อมูลต้องคงอยู่

รูปแบบที่มีประสิทธิภาพคือโหลดข้อมูลจากหน่วยความจำส่วนกลางครั้งเดียว คำนวณในหน่วยความจำบนชิปที่เร็ว แล้วเขียนกลับครั้งเดียว วิธีนี้ลดการรับส่งข้อมูลผ่านหน่วยความจำส่วนกลางที่ช้า

การใช้รีจิสเตอร์หรือหน่วยความจำที่ใช้ร่วมกันจำนวนมากต่อบล็อก ทำให้มีบล็อกทำงานพร้อมกันได้น้อยลง การใช้ทรัพยากรพร้อมกันคือสมดุลที่คุณต้องปรับอยู่เสมอ

เคอร์เนลที่ดีจะส่งข้อมูลแต่ละส่วนไปยังชั้นที่เหมาะสมอย่างตั้งใจ นิสัยเพียงอย่างเดียวนี้เองที่แยกโค้ดช้าออกจากโค้ด CUDA ที่เร็ว 💪

เธรดสองเธรดในบล็อก SAME ต้องใช้ผลลัพธ์ระหว่างการคำนวณร่วมกัน พื้นที่ใดเหมาะที่สุด

คุณได้สร้างแผนผังในใจแล้ว: รีจิสเตอร์ หน่วยความจำที่ใช้ร่วมกัน หน่วยความจำค่าคงที่ และหน่วยความจำส่วนกลาง ล้วนแลกความเร็วกับขนาดและขอบเขต การส่งข้อมูลไปยังชั้นที่ถูกต้องคือหัวใจสำคัญทั้งหมด 🧠