การประเมินประสิทธิภาพของแบบจำลอง

การประเมินประสิทธิภาพของแบบจำลองการเรียนรู้ของเครื่องเป็นสิ่งสำคัญเพื่อให้มั่นใจว่าแบบจำลองทำงานได้อย่างมีประสิทธิผล เราใช้ตัวชี้วัด เช่น ความถูกต้อง ความแม่นยำ อัตราการตรวจพบ และคะแนน F1 สำหรับปัญหาการจำแนกประเภท

ความถูกต้อง

ความถูกต้องวัดอัตราส่วนของตัวอย่างที่ทำนายได้ถูกต้องต่อตัวอย่างทั้งหมด:

Accuracy = (True Positives + True Negatives) / Total Instances

แม้ความถูกต้องจะมีประโยชน์ แต่เพียงอย่างเดียวอาจไม่เพียงพอสำหรับชุดข้อมูลที่ไม่สมดุล

ความแม่นยำ

ความแม่นยำมุ่งเน้นไปที่ความถูกต้องของการทำนายผลบวก:

Precision = True Positives / (True Positives + False Positives)

ความแม่นยำสูงหมายถึงมีผลบวกลวงน้อยลง

อัตราการตรวจพบ

อัตราการตรวจพบวัดความสามารถของแบบจำลองในการระบุตัวอย่างบวกทั้งหมดได้อย่างถูกต้อง:

Recall = True Positives / (True Positives + False Negatives)

อัตราการตรวจพบสูงหมายถึงมีผลลบลวงน้อยลง

คะแนน F1

คะแนน F1 คือค่าเฉลี่ยฮาร์มอนิกของความแม่นยำและอัตราการตรวจพบ:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

คะแนนนี้สร้างสมดุลระหว่างความแม่นยำและอัตราการตรวจพบ และมีประโยชน์อย่างยิ่งสำหรับชุดข้อมูลที่ไม่สมดุล

การใช้ไซคิต-เลิร์นสำหรับตัวชี้วัด

ไซคิต-เลิร์นมีฟังก์ชันสำหรับคำนวณตัวชี้วัดเหล่านี้:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

เมทริกซ์ความสับสน

เมทริกซ์ความสับสนให้ภาพรายละเอียดเกี่ยวกับประสิทธิภาพของแบบจำลอง:

• ผลบวกจริง (TP): การทำนายผลบวกที่ถูกต้อง
• ผลบวกลวง (FP): การทำนายผลบวกที่ไม่ถูกต้อง
• ผลลบจริง (TN): การทำนายผลลบที่ถูกต้อง
• ผลลบลวง (FN): การทำนายผลลบที่ไม่ถูกต้อง

การเลือกตัวชี้วัดที่เหมาะสม

การเลือกตัวชี้วัดขึ้นอยู่กับปัญหา:

• ความถูกต้อง: ทำงานได้ดีเมื่อใช้กับชุดข้อมูลที่สมดุล
• ความแม่นยำ: สำคัญเมื่อผลบวกลวงมีต้นทุนสูง
• อัตราการตรวจพบ: สำคัญอย่างยิ่งเมื่อผลลบลวงมีต้นทุนสูง
• คะแนน F1: เป็นตัวชี้วัดที่สมดุลสำหรับชุดข้อมูลที่ไม่สมดุล

สรุปและขั้นตอนถัดไป

ในบทเรียนนี้ เราได้ครอบคลุมเรื่องต่อไปนี้:

• ตัวชี้วัดสำหรับประเมินประสิทธิภาพของแบบจำลอง ได้แก่ ความถูกต้อง ความแม่นยำ อัตราการตรวจพบ และคะแนน F1
• วิธีคำนวณตัวชี้วัดเหล่านี้โดยใช้ไซคิต-เลิร์น
• วิธีตีความเมทริกซ์ความสับสน

ถัดไป เราจะสำรวจวิธีการเรียนรู้แบบไม่มีผู้สอน เช่น การจัดกลุ่ม