تقييم أداء النموذج

يُعد تقييم أداء نموذج التعلم الآلي أمرًا بالغ الأهمية لضمان فعاليته. ونستخدم مقاييس مثل الدقة والإحكام والاستدعاء ودرجة F1 في مسائل التصنيف.

الدقة

تقيس الدقة نسبة الحالات التي جرى التنبؤ بها بشكل صحيح إلى إجمالي عدد الحالات:

Accuracy = (True Positives + True Negatives) / Total Instances

على الرغم من فائدتها، قد لا تكون الدقة وحدها كافية عند استخدام مجموعات بيانات غير متوازنة.

الإحكام

يركز الإحكام على مدى صحة التنبؤات الإيجابية:

Precision = True Positives / (True Positives + False Positives)

يعني الإحكام المرتفع عددًا أقل من الإيجابيات الكاذبة.

الاستدعاء

يقيس الاستدعاء قدرة النموذج على تحديد جميع الحالات الإيجابية بشكل صحيح:

Recall = True Positives / (True Positives + False Negatives)

يعني الاستدعاء المرتفع عددًا أقل من السلبيات الكاذبة.

درجة F1

درجة F1 هي المتوسط التوافقي للإحكام والاستدعاء:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

وتحقق توازنًا بين الإحكام والاستدعاء، وهي مفيدة خصوصًا مع مجموعات البيانات غير المتوازنة.

استخدام scikit-learn لحساب المقاييس

توفر scikit-learn دوال لحساب هذه المقاييس:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

مصفوفة الالتباس

توفر مصفوفة الالتباس عرضًا تفصيليًا لأداء النموذج:

• الإيجابيات الصحيحة (TP): التنبؤات الإيجابية الصحيحة.
• الإيجابيات الكاذبة (FP): التنبؤات الإيجابية غير الصحيحة.
• السلبيات الصحيحة (TN): التنبؤات السلبية الصحيحة.
• السلبيات الكاذبة (FN): التنبؤات السلبية غير الصحيحة.

اختيار المقياس المناسب

يعتمد اختيار المقياس على طبيعة المسألة:

• الدقة: تعمل جيدًا مع مجموعات البيانات المتوازنة.
• الإحكام: مهم عندما تكون الإيجابيات الكاذبة مكلفة.
• الاستدعاء: بالغ الأهمية عندما تكون السلبيات الكاذبة مكلفة.
• درجة F1: مقياس متوازن لمجموعات البيانات غير المتوازنة.

الملخص والخطوات التالية

في هذا الدرس، تناولنا ما يلي:

• مقاييس تقييم أداء النموذج: الدقة والإحكام والاستدعاء ودرجة F1.
• كيفية حساب هذه المقاييس باستخدام scikit-learn.
• كيفية تفسير مصفوفة الالتباس.

بعد ذلك، سنستكشف أساليب التعلم غير الخاضع للإشراف مثل التجميع.