ขอใช้ CPU, หน่วยความจำ และ GPU

Kubernetes จะวางพ็อดลงบนโหนดที่มีพื้นที่ว่าง เพื่อใช้ตัดสินใจ ตัวจัดตารางจึงต้องทราบว่าพ็อดโมเดลแต่ละตัวจะใช้ CPU และหน่วยความจำเท่าใด

คำขอคือปริมาณทรัพยากรที่รับประกันและใช้ในการจัดตาราง ส่วนขีดจำกัดคือเพดานที่คอนเทนเนอร์ห้ามใช้เกิน โดยทั่วไปคุณควรกำหนดทั้งสองค่า

CPU นับเป็นมิลลิคอร์: 1000m เท่ากับคอร์เต็มหนึ่งคอร์ การขอ 500m หมายความว่าพ็อดโมเดลของคุณได้รับการรับประกันครึ่งหนึ่งของคอร์ CPU

หน่วยความจำกำหนดเป็นเมบิไบต์หรือกิบิไบต์ เช่น 512Mi หรือ 2Gi ควรเผื่อให้เพียงพอสำหรับโมเดลและสภาพแวดล้อมการทำงาน รวมถึงเผื่อพื้นที่ไว้อีกเล็กน้อย

หากไม่มีโหนดใดรองรับคำขอของคุณได้ พ็อดจะอยู่ในสถานะ Pending ตลอดไป โมเดล GPU ขนาดใหญ่มักรอเพียงเพราะไม่มีทรัพยากรว่างที่มีขนาดเพียงพอ

หากใช้หน่วยความจำเกินขีดจำกัด เคอร์เนลจะยุติคอนเทนเนอร์ด้วยสถานะ OOMKilled การปรับขนาดขีดจำกัดให้เหมาะสมช่วยป้องกันไม่ให้เซิร์ฟเวอร์โมเดลถูกยุติระหว่างให้บริการคำขอ 💥

ต่างจากหน่วยความจำ การใช้ CPU เกินขีดจำกัดจะไม่ยุติพ็อด คอนเทนเนอร์จะถูกลดความเร็ว ทำให้เวลาแฝงเพิ่มขึ้นแทนที่กระบวนการจะหยุดทำงาน

GPU เป็นทรัพยากรเพิ่มเติม คุณต้องขอใช้ GPU เฉพาะใต้ขีดจำกัดด้วย nvidia.com/gpu และค่าที่ระบุต้องเป็นจำนวนเต็มเท่านั้น ห้ามเป็นเศษส่วน

โดยค่าเริ่มต้น การขอใช้ GPUหนึ่งรายการจะยึดอุปกรณ์ทั้งหมดสำหรับพ็อดนั้น พ็อดสองตัวไม่สามารถใช้การ์ดเดียวกันร่วมกันได้ง่าย ๆ หากไม่มีการตั้งค่า MIG หรือการแบ่งเวลา

โหนดจะแสดง GPU ได้ก็ต่อเมื่อปลั๊กอินอุปกรณ์ของ NVIDIA ทำงานอยู่บนโหนดนั้น หากไม่มีปลั๊กอิน ก็จะไม่มีทรัพยากร nvidia.com/gpu และพ็อด GPU จะค้างอยู่ในสถานะ Pending

การร้องขอทรัพยากรมากเกินไปทำให้เสียโหนดทั้งโหนด ส่วนการร้องขอน้อยเกินไปเสี่ยงต่อการถูกขับออก การตรวจดูการใช้งานจริงและปรับ คำขอคือวิธีทำให้บริการมีเสถียรภาพและประหยัดค่าใช้จ่าย

จะเกิดอะไรขึ้นเมื่อคอนเทนเนอร์ใช้หน่วยความจำเกินขีดจำกัด

ประกาศคำขอและขีดจำกัดสำหรับ CPU กับหน่วยความจำ ขอใช้ GPU เป็นจำนวนเต็มภายใต้ขีดจำกัด และปรับขนาดจากการใช้งานจริงเพื่อให้พ็อดโมเดลทำงานได้อย่างสมบูรณ์ ✅