تقييم أداء النموذج

يُعدّ تقييم أداء نموذج التعلم الآلي أمرًا بالغ الأهمية لضمان فعاليته. نستخدم مقاييس مثل الدقة والإحكام والاستدعاء ودرجة F1 في مسائل التصنيف.

الدقة

تقيس الدقة نسبة الحالات التي جرى التنبؤ بها بشكل صحيح إلى إجمالي عدد الحالات:

Accuracy = (True Positives + True Negatives) / Total Instances

على الرغم من فائدة الدقة، فقد لا تكون وحدها كافية عند استخدام مجموعات بيانات غير متوازنة.

الإحكام

يركّز الإحكام على صحة التنبؤات الإيجابية:

Precision = True Positives / (True Positives + False Positives)

يعني الإحكام المرتفع عددًا أقل من الإيجابيات الكاذبة.

الاستدعاء

يقيس الاستدعاء قدرة النموذج على تحديد جميع الحالات الإيجابية بشكل صحيح:

Recall = True Positives / (True Positives + False Negatives)

يعني الاستدعاء المرتفع عددًا أقل من السلبيات الكاذبة.

درجة F1

درجة F1 هي المتوسط التوافقي للإحكام والاستدعاء:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

وهي توازن بين الإحكام والاستدعاء، وتكون مفيدة بشكل خاص مع مجموعات البيانات غير المتوازنة.

استخدام scikit-learn للمقاييس

يوفّر scikit-learn دوالً لحساب هذه المقاييس:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

مصفوفة الالتباس

توفّر مصفوفة الالتباس عرضًا تفصيليًا لأداء النموذج:

• الإيجابيات الحقيقية (TP): تنبؤات إيجابية صحيحة.
• الإيجابيات الكاذبة (FP): تنبؤات إيجابية غير صحيحة.
• السلبيات الحقيقية (TN): تنبؤات سلبية صحيحة.
• السلبيات الكاذبة (FN): تنبؤات سلبية غير صحيحة.

اختيار المقياس المناسب

يعتمد اختيار المقياس على المسألة:

• الدقة: تعمل جيدًا مع مجموعات البيانات المتوازنة.
• الإحكام: مهم عندما تكون الإيجابيات الكاذبة مكلفة.
• الاستدعاء: بالغ الأهمية عندما تكون السلبيات الكاذبة مكلفة.
• درجة F1: مقياس متوازن لمجموعات البيانات غير المتوازنة.

الملخص والخطوات التالية

غطّينا في هذا الدرس ما يلي:

• مقاييس تقييم أداء النموذج: الدقة، والإحكام، والاستدعاء، ودرجة F1.
• كيفية حساب هذه المقاييس باستخدام scikit-learn.
• كيفية تفسير مصفوفة الالتباس.

بعد ذلك، سنستكشف أساليب التعلم غير الخاضع للإشراف، مثل التجميع.