لماذا تكذب الدقة عند عدم التوازن

تبدو الدقة مقياسًا واضحًا: كم تنبؤًا أصبت؟ وهي تعمل جيدًا على البيانات المتوازنة، لكن اختلال التوازن يفسدها بهدوء.

تكون مجموعة البيانات مختلة التوازن عندما تكون إحدى الفئات أندر بكثير من الفئات الأخرى. فكر في الاحتيال أو المرض أو إلغاء الاشتراك: الحدث المهم هو النادر.

تخيل 99 معاملة عادية مقابل معاملة احتيالية واحدة. سيحصل نموذج يجيب بأنها عادية في كل مرة على دقة تبلغ 99% ومثيرة للإعجاب. ⚠️

لم يكتشف ذلك النموذج أي عملية احتيال على الإطلاق. يبدو الرقم ممتازًا، لكن النموذج عديم الفائدة للمهمة المحددة التي صُمم لأجلها.

تحسب الدقة متوسطًا عبر جميع الصفوف، فتطغى الأغلبية الكبيرة على الأقلية الصغيرة. وقد تفشل الفئة النادرة تمامًا دون أن يتغير المقياس إلا قليلًا.

قارن دائمًا بخط أساس فئة الأغلبية: أي توقّع التصنيف الأكثر شيوعًا. فإذا عجز نموذجك عن التفوق عليه، فلم يتعلم شيئًا مفيدًا.

قبل الاحتفال، اطرح سؤالًا واحدًا: ما نسبة الصفوف التي تنتمي إلى فئة الأغلبية؟ تلك هي الدقة التي يحققها نموذج كسول مجانًا.

يكشف سطر واحد مدى اختلال تصنيفاتك. فإذا طغت إحدى القيم على البقية، فستضللك الدقة وحدها.

غالبًا ما يكون تفويت الفئة النادرة هو الأكثر ضررًا: فاكتشاف ورم أو عملية احتيال بعد فوات الأوان مكلف. تعامل الدقة كل الأخطاء على قدم المساواة، لكن الواقع لا يفعل ذلك.

لا يكمن الحل بعد في استخدام مقياس سحري، بل في تغيير طريقة التفكير. توقف عن الثقة برقم واحد وابدأ بالسؤال عن أداء فئة الأقلية فعليًا.

ستتعرف قريبًا إلى الدقة والاسترجاع ومنحنيات PR المصممة للأحداث النادرة. أولًا، استوعب سبب اكتساب الدقة لعدم ثقتك بها هنا.

عند اختلال التوازن، تجامل الدقة النماذج الكسولة التي تتجاهل الفئة النادرة. تفوق على خط أساس الأغلبية، وقيّم أداء فئة الأقلية الحقيقي. 🎯