กำหนดเกณฑ์คุณภาพและค่าขีดจำกัด

ประตูคุณภาพคือกฎอัตโนมัติที่หยุดไม่ให้โมเดลที่ไม่ดีถูกนำไปใช้งาน หากโมเดลใหม่ทำคะแนนไม่ถึงเกณฑ์ กระบวนการสร้างก็จะล้มเหลวทันที

เลือกตัวชี้วัดหนึ่งรายการที่สำคัญที่สุดสำหรับงาน เช่น F1 หรือ AUC ตัวชี้วัดหลักจะขับเคลื่อนประตูคุณภาพ ทำให้การตัดสินใจชัดเจน

ประตูคุณภาพที่ง่ายที่สุดคือการกำหนดพื้นขั้นต่ำที่ตายตัว เกณฑ์สัมบูรณ์จะบล็อกโมเดลใดก็ตามที่มีคะแนนต่ำกว่าค่าขั้นต่ำที่กำหนด

การทำคะแนนดีกว่าโมเดลพื้นฐานที่ไม่ฉลาดพิสูจน์ได้ว่าเกิดคุณค่าจริง ประตูค่าพื้นฐานจะทำให้กระบวนการสร้างล้มเหลว หากคุณทำได้ไม่ดีกว่าการทายคลาสที่มีจำนวนมากที่สุด

สิ่งใหม่ไม่ควรแย่กว่าสิ่งปัจจุบัน ประตูการถดถอยจะเปรียบเทียบตัวเลือกใหม่กับโมเดลที่ใช้งานจริง และปฏิเสธการลดลงทุกกรณี

คะแนนอาจแกว่งขึ้นลงระหว่างการเรียกใช้เนื่องจากความสุ่ม ความคลาดเคลื่อนที่ยอมรับได้เล็กน้อยช่วยหลีกเลี่ยงความล้มเหลวที่ไม่แน่นอน ขณะเดียวกันยังตรวจจับการถดถอยจริงได้

ตัวเลขโดยรวมอาจซ่อนกลุ่มที่อ่อนแอไว้ ประตูส่วนย่อยกำหนดให้กลุ่มที่แย่ที่สุดต้องผ่านขั้นต่ำของตนเอง ไม่ใช่พึ่งพาเพียงค่าเฉลี่ย

เวลาแฝงและขนาดโมเดลมีความสำคัญในการใช้งานจริง เพิ่มประตูสำหรับข้อจำกัดที่ไม่ใช่ความแม่นยำ เพื่อให้โมเดลที่ช้าหรือใหญ่เกินไปทำให้กระบวนการสร้างล้มเหลวด้วย

การยืนยันที่ล้มเหลวจะส่งคืนรหัสออกที่ไม่ใช่ศูนย์ CI จะอ่านรหัสออกนั้นและหยุดการนำไปใช้งาน จึงไม่มีใครนำโมเดลไปใช้โดยบังเอิญ

บันทึกผลลัพธ์ของประตูคุณภาพทุกรายการลงใน MLflow หรือไฟล์ ประวัติที่บันทึกไว้ช่วยให้คุณเห็นแนวโน้มของเกณฑ์และคะแนนเมื่อเวลาผ่านไป

กำหนดเกณฑ์ให้อยู่ในจุดที่บล็อกโมเดลที่ไม่ดี แต่ไม่บล็อกโมเดลที่ดี ทบทวนเกณฑ์แต่ละรายการเมื่อโมเดลและธุรกิจพัฒนาขึ้น

ตอนนี้คุณกำหนดประตูคุณภาพ ได้แก่ พื้นขั้นต่ำสัมบูรณ์ การตรวจสอบค่าพื้นฐานและการถดถอย รวมถึงข้อจำกัดด้านส่วนย่อยและเวลาแฝง ซึ่งทำให้กระบวนการสร้างล้มเหลวก่อนโมเดลที่อ่อนแอจะถูกนำไปใช้ ✅