Precision, Recall, F1 และ ROC-AUC

เมื่อคลาสหนึ่งมีจำนวนมากกว่าคลาสอื่น ความแม่นยำอาจดูดีมากแม้โมเดลจะไร้ประโยชน์ คุณจึงต้องใช้ตัวชี้วัดที่ละเอียดขึ้นเพื่อประเมินประสิทธิภาพที่แท้จริง

การทำนายทุกครั้งเป็นบวกจริง ลบจริง บวกเท็จ หรือลบเท็จ ค่านับทั้งสี่นี้เป็นพื้นฐานของตัวชี้วัดที่ซับซ้อนขึ้นทั้งหมด

ความแม่นยำเชิงบวกถามว่า จากทุกกรณีที่คุณระบุว่าเป็นบวก มีกี่กรณีที่เป็นบวกจริง ความแม่นยำเชิงบวกสูงหมายถึงการแจ้งเตือนผิดพลาดมีน้อย

ความครอบคลุมถามว่า จากผลบวกจริงทั้งหมด คุณจับได้กี่กรณี ความครอบคลุมสูงหมายถึงมีกรณีที่พลาดน้อย

เมื่อเพิ่มความแม่นยำเชิงบวก ความครอบคลุมมักลดลง และในทางกลับกัน สมดุลที่เหมาะสมขึ้นอยู่กับต้นทุนของข้อผิดพลาดแต่ละประเภท

คะแนน F1 คือค่าเฉลี่ยฮาร์มอนิกของความแม่นยำเชิงบวกและความครอบคลุม โดยให้คะแนนดีกับโมเดลที่รักษาค่าทั้งสองให้อยู่ในระดับสูงพอสมควร

ตัวจำแนกจะส่งออกความน่าจะเป็น ส่วนค่าเกณฑ์จะตัดสินว่าเป็นบวกหรือลบ การเลื่อนค่านี้จะเปลี่ยนรูปความสัมพันธ์ระหว่างความแม่นยำเชิงบวกกับความครอบคลุม

เส้นโค้ง ROC จะพล็อตอัตราบวกจริงเทียบกับอัตราบวกเท็จในทุกค่าเกณฑ์ ทำให้เห็นสิ่งที่ต้องแลกทั้งหมดได้ในภาพเดียว

ROC-AUC คือพื้นที่ใต้เส้นโค้งนั้น ใช้สรุปคุณภาพการจัดอันดับด้วยตัวเลขเดียวที่ไม่ขึ้นกับค่าเกณฑ์ ตั้งแต่ศูนย์ถึงหนึ่ง

AUC เท่ากับ 0.5 หมายถึงการเดาแบบสุ่ม ส่วน 1.0 หมายถึงการแยกได้อย่างสมบูรณ์ ค่าที่สูงกว่าหมายถึงโมเดลจัดอันดับผลบวกให้อยู่เหนือผลลบได้ดี

เลือกตัวชี้วัดตามงาน: ใช้ความครอบคลุมสำหรับการคัดกรองโรค ใช้ความแม่นยำเชิงบวกสำหรับตัวกรองสแปม และใช้ AUC สำหรับคุณภาพการจัดอันดับ

ก้าวข้ามความแม่นยำด้วยความแม่นยำเชิงบวก ความครอบคลุม F1 และ ROC-AUC แต่ละตัวตอบคำถามต่างกัน จึงควรเลือกตัวชี้วัดให้ตรงกับเป้าหมาย 🎯