การประเมินประสิทธิภาพของแบบจำลอง

การประเมินประสิทธิภาพของแบบจำลองการเรียนรู้ของเครื่องเป็นสิ่งสำคัญ เพื่อให้แน่ใจว่าแบบจำลองทำงานได้อย่างมีประสิทธิผล เราใช้ตัวชี้วัด เช่น ความถูกต้อง ความแม่นยำ ความครอบคลุม และ F1 score สำหรับปัญหาการจำแนกประเภท

ความถูกต้อง

ความถูกต้องวัดสัดส่วนของตัวอย่างที่ทำนายได้ถูกต้องเมื่อเทียบกับจำนวนตัวอย่างทั้งหมด:

Accuracy = (True Positives + True Negatives) / Total Instances

แม้จะมีประโยชน์ แต่ความถูกต้องเพียงอย่างเดียวอาจไม่เพียงพอสำหรับชุดข้อมูลที่ไม่สมดุล

ความแม่นยำ

ความแม่นยำมุ่งเน้นที่ความถูกต้องของการทำนายผลบวก:

Precision = True Positives / (True Positives + False Positives)

ความแม่นยำสูงหมายถึงมีผลบวกเท็จน้อยลง

ความครอบคลุม

ความครอบคลุมวัดความสามารถของแบบจำลองในการระบุตัวอย่างผลบวกทั้งหมดได้อย่างถูกต้อง:

Recall = True Positives / (True Positives + False Negatives)

ความครอบคลุมสูงหมายถึงมีผลลบเท็จน้อยลง

F1 score

F1 score คือค่าเฉลี่ยฮาร์มอนิกของความแม่นยำและความครอบคลุม:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

ค่านี้สร้างสมดุลระหว่างความแม่นยำและความครอบคลุม และมีประโยชน์อย่างยิ่งกับชุดข้อมูลที่ไม่สมดุล

การใช้ scikit-learn สำหรับตัวชี้วัด

scikit-learn มีฟังก์ชันสำหรับคำนวณตัวชี้วัดเหล่านี้:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

เมทริกซ์ความสับสน

เมทริกซ์ความสับสนแสดงรายละเอียดเกี่ยวกับประสิทธิภาพของแบบจำลอง:

• ผลบวกจริง (TP): การทำนายผลบวกได้อย่างถูกต้อง
• ผลบวกลวง (FP): การทำนายผลบวกอย่างไม่ถูกต้อง
• ผลลบจริง (TN): การทำนายผลลบได้อย่างถูกต้อง
• ผลลบลวง (FN): การทำนายผลลบอย่างไม่ถูกต้อง

การเลือกตัวชี้วัดที่เหมาะสม

การเลือกตัวชี้วัดขึ้นอยู่กับปัญหา:

• ความถูกต้อง: เหมาะสำหรับชุดข้อมูลที่สมดุล
• ความแม่นยำ: สำคัญเมื่อผลบวกลวงมีต้นทุนสูง
• ความครอบคลุม: สำคัญอย่างยิ่งเมื่อผลลบลวงมีต้นทุนสูง
• คะแนนเอฟวัน: ตัวชี้วัดที่สมดุลสำหรับชุดข้อมูลที่ไม่สมดุล

สรุปและขั้นตอนถัดไป

ในบทเรียนนี้ เราได้ครอบคลุมเรื่องต่อไปนี้:

• ตัวชี้วัดสำหรับประเมินประสิทธิภาพของแบบจำลอง ได้แก่ ความถูกต้อง ความแม่นยำ ความครอบคลุม และคะแนนเอฟวัน
• วิธีคำนวณตัวชี้วัดเหล่านี้โดยใช้ scikit-learn
• วิธีตีความเมทริกซ์ความสับสน

ถัดไป เราจะสำรวจวิธีการเรียนรู้แบบไม่มีผู้สอน เช่น การจัดกลุ่ม