ROC-kurvor och AUC-ROC

Precision, recall och F1-poäng beror alla på en fast beslutströskel (vanligtvis 0,5 för binära klassificerare). Men den optimala tröskeln varierar beroende på användningsområde: ett spamfilter kanske använder 0,9 (strikt för att undvika falskt positiva resultat), medan en bedrägeridetektor kanske använder 0,1 (generös för att undvika att missa bedrägerier). Om du utvärderar en modell vid bara en tröskel får du en ofullständig bild av dess förmåga. ROC-kurvan (Receiver Operating Characteristic) löser detta genom att samtidigt visa prestandan vid alla möjliga trösklar, så att du kan förstå hela det spann av avvägningar mellan precision och recall som modellen kan uppnå.

ROC-kurvan byggs utifrån två mått som beräknas vid varje tröskel: True Positive Rate (TPR) (samma som recall/sensitivitet): TPR = TP / (TP + FN) — hur stor andel av de faktiska positiva fallen fångade vi? False Positive Rate (FPR): FPR = FP / (FP + TN) — hur stor andel av de faktiska negativa fallen flaggade vi felaktigt? När tröskeln sänks ökar både TPR och FPR. ROC-kurvan visar TPR mot FPR när tröskeln varierar från 1 (förutsäg inget som positivt) till 0 (förutsäg allt som positivt). En perfekt klassificerare når (0, 1) — noll falsklarm och alla sanna positiva fall hittade.

Scikit-learns roc_curve() beräknar paren (FPR, TPR) för alla trösklar i ett enda anrop. RocCurveDisplay skapar en figur som är redo för publicering. ROC-kurvan för en slumpmässig klassificerare är den diagonala linjen från (0,0) till (1,1) — den presterar inte bättre än slumpen vid någon tröskel. En bra klassificerare böjer av mot det övre vänstra hörnet och uppnår hög TPR med låg FPR. Ju längre kurvan ligger från diagonalen, desto bättre är klassificeraren. Arean under kurvan (AUC) sammanfattar prestandan i ett enda tal.

AUC-ROC (Area Under the ROC Curve) sammanfattar ROC-kurvan i ett enda tal mellan 0 och 1. AUC = 0.5: inte bättre än slumpen (diagonal linje). AUC = 1.0: perfekt klassificerare (inga falskt positiva resultat vid någon recall-nivå). AUC = 0.0: perfekt omvänd klassificerare — varje förutsägelse är fel (användbart om du vänder på förutsägelserna). En AUC på 0,8 innebär att ett slumpmässigt valt positivt prov 80 % av gångerna får en högre förutsagd sannolikhet än ett slumpmässigt valt negativt prov. AUC är oberoende av tröskeln — det utvärderar kvaliteten på rangordningen av sannolikhetspoängen, inte ett specifikt förutsägelsebeslut.

Riktlinjer för tolkning av AUC: 0,5 = slumpmässig klassificerare, oanvändbar; 0,6–0,7 = dålig, men bättre än slumpen; 0,7–0,8 = godtagbar — tillräcklig för vissa användningsområden; 0,8–0,9 = bra — en stabil produktionsmodell; 0,9–1,0 = utmärkt — sannolikt nära den bästa tillgängliga nivån för problemet. Var uppmärksam på uppblåsta AUC-värden: tidsmässigt dataläckage (användning av framtida information), etikettläckage eller mycket obalanserade klasser kan artificiellt höja AUC. Gör alltid en rimlighetskontroll med kalibreringskurvor och genom att granska förutsägelser för specifika exempel.

Om flera ROC-kurvor visas i samma diagram blir det möjligt att jämföra modellerna direkt. Varje modells kurva och AUC-värde visas tillsammans. En modell är bättre om dess ROC-kurva ligger konsekvent ovanför en annan kurva vid varje FPR. Om kurvorna korsar varandra dominerar ingen av modellerna – den ena är bättre vid låga falskt positiva frekvenser och den andra vid höga falskt positiva frekvenser, och verksamhetens sammanhang avgör vilken som är att föredra. En jämförelse av AUC ger en snabb sammanfattning, men kontrollera alltid kurvorna vid den driftpunkt som Ni faktiskt avser att använda.

För kraftigt obalanserade dataset kan ROC-kurvan ge en missvisande positiv bild. När det finns mycket få positiva exempel (till exempel en bedrägerifrekvens på 1 %) får även en modell med många falskt positiva resultat en låg FPR, eftersom nämnaren (TN+FP) är mycket stor. Precision–recall-kurvan visar precision mot recall vid olika tröskelvärden och påverkas inte av klassobalans. Arean under PR-kurvan (Average Precision, AP) är ett bättre sammanfattande mått för obalanserade problem. Använd ROC för balanserade klasser och precision–recall-kurvan för obalanserade klasser.

Om Ni vill få en tillförlitlig AUC-uppskattning som inte påverkas av en enda uppdelning i tränings- och testdata kan Ni använda cross_val_score med scoring='roc_auc'. Detta beräknar AUC på valideringsmängden i varje fold och returnerar poängen för alla foldar. Medelvärdet är den bästa uppskattningen, medan standardavvikelsen visar stabiliteten. Högt medelvärde för AUC och låg standardavvikelse tyder på en robust modell. Hög AUC tillsammans med hög standardavvikelse tyder på att modellen är känslig för vilka observationer som hamnar i respektive fold – överväg om datan har naturliga grupperingar (till exempel flera observationer per patient) som bör hållas samman i foldarna.

När Ni har utvärderat en modell med ROC-kurvan måste Ni välja en specifik driftpunkt (ett tröskelvärde) för användning i produktion. Tre strategier: (1) Youdens J-statistik: välj det tröskelvärde som maximerar (TPR - FPR) – den punkt som ligger längst ovanför diagonalen. (2) Verksamhetsbegränsning: ange en högsta tillåten FPR (till exempel att högst 5 % av legitima transaktioner får flaggas som bedrägerier) och hitta motsvarande tröskelvärde. (3) Kostnadsoptimering: om Ni känner till kostnaden för FP och FN väljer Ni det tröskelvärde som minimerar den totala kostnaden. Dokumentera det valda tröskelvärdet tillsammans med modellen för att möjliggöra reproducerbar driftsättning.

För klassificering med flera klasser utökas ROC-AUC genom att AUC beräknas för varje klass i en One-vs-Rest-konfiguration (OvR): behandla klass k som positiv och alla andra som negativa, beräkna AUC och ta sedan medelvärdet över klasserna. Scikit-learn's roc_auc_score stöder detta med multi_class='ovr' och average='macro' eller average='weighted'. Detta kräver sannolikhetsuppskattningar från predict_proba(), så klassificeraren måste stödja sannolikhetsutdata. Macro AUC behandlar alla klasser lika, medan viktad AUC tar hänsyn till klassernas frekvens.

AUC-ROC kan ge en missvisande positiv bild för kraftigt obalanserade dataset. När endast 0,1 % av transaktionerna är bedrägerier kan även en modell som upptäcker 80 % av bedrägerifallen och flaggar 5 % av de legitima transaktionerna uppnå en AUC nära 0,9 – men i absoluta tal innebär flaggning av 5 % av miljontals legitima transaktioner en enorm driftskostnad. I sådana fall är AUC-PR (arean under precision–recall-kurvan) mer informativ, eftersom måttet enbart fokuserar på resultatet för den positiva klassen och inte blåses upp av det stora antalet sant negativa resultat. Vid extrem obalans (<1 % positiva exempel) ska Ni alltid rapportera AUC-PR tillsammans med AUC-ROC.

I den här lektionen har Ni lärt Er att ROC-kurvan visar TPR mot FPR över alla tröskelvärden och hela intervallet av avvägningar mellan precision och recall, att AUC-ROC sammanfattar rangordningskvaliteten i ett enda tal där 0,5 = slumpmässigt och 1,0 = perfekt, samt att Ni för obalanserade klasser bör använda precision–recall-kurvan och Average Precision i stället. Nästa avsnitt handlar om regressionsmått, däribland MAE, MSE, RMSE och R-squared.