Regressionsmål: MAE, MSE, RMSE og R-squared

Regressionsmodeller forudsiger kontinuerte værdier — boligpriser, temperaturer og salgsvolumen. I modsætning til klassifikation, hvor en forudsigelse enten er korrekt eller forkert, er regressionsforudsigelser næsten aldrig præcis korrekte. Spørgsmålet er: hvor langt fra er forudsigelsen? Regressionsmål kvantificerer forskellen mellem forudsagte og faktiske værdier. Forskellige mål vægter fejl forskelligt: nogle straffer store fejl mere end små, nogle er robuste over for afvigere, og nogle er normaliserede, så de kan fortolkes som en andel af den forklarede varians. Valget af det rigtige mål afhænger af problemets omkostningsstruktur for fejl.

MAE = mean(|y_true - y_pred|). Gennemsnitlig absolut fejl beregner gennemsnittet af de absolutte forskelle mellem forudsigelser og faktiske værdier. Den er i samme enhed som målvariablen — en MAE for boligpriser på $15.000 betyder, at forudsigelserne i gennemsnit afviger med $15.000. MAE behandler alle fejl lineært: en forudsigelse, der er dobbelt så forkert, koster præcis dobbelt så meget. MAE er robust over for afvigere, fordi fejlene ikke kvadreres. Det er det anbefalede mål, når fejlfordelingen er omtrent symmetrisk, og fejl fra afvigere ikke bør dominere det samlede resultat.

MSE = mean((y_true - y_pred)^2). Gennemsnitlig kvadreret fejl kvadrerer hver fejl, før gennemsnittet beregnes. Det gør MSE følsom over for afvigere: en enkelt forudsigelse med en fejl på 10 bidrager med 100 til MSE, mens en forudsigelse med en fejl på 1 kun bidrager med 1 — fejl fra afvigere forstærkes kvadratisk. MSE er den naturlige tabsfunktion for lineær regression (minimering af MSE giver løsningen med almindelige mindste kvadrater). Måleenheden er målvariablen i anden potens (dollars^2 for boligpriser), hvilket gør målet mindre let at fortolke end MAE, men matematisk praktisk til optimering.

RMSE = sqrt(MSE). Kvadratroden af den gennemsnitlige kvadrerede fejl bringer MSE tilbage til målvariablens oprindelige enhed (dollars, ikke dollars^2) ved at tage kvadratroden. Det er det mest udbredte regressionsmål, fordi det kan fortolkes i samme enhed som målet, samtidig med at det straffer store fejl mere end små. En RMSE på $20.000 for boligpriser betyder, at den typiske fejlstørrelse er $20.000, selvom fejl fra afvigere vægtes højere end ved MAE. RMSE er altid >= MAE for de samme forudsigelser; forskellen mellem dem vokser, når der er fejl fra afvigere.

Vælg MAE, når: du forventer afvigere og ikke ønsker, at de skal dominere målet; du ønsker et mål, der let kan fortolkes som den gennemsnitlige fejl; fejl af forskellig størrelse er proportionelt lige vigtige. Vælg RMSE, når: store fejl er langt dyrere end små (f.eks. ved forudsigelse af strømbehov — det er langt dyrere at ramme 10 gange ved siden af end 1 gang); tabsfunktionen under træningen er MSE, og du ønsker, at evalueringen stemmer overens med træningen; variationen i forudsigelserne er vigtigere end den mediane fejl. I praksis skal du altid rapportere både MAE og RMSE — hvis RMSE >> MAE, dominerer fejl fra afvigere; hvis RMSE ≈ MAE, er fejlene jævnt fordelt.

R^2 = 1 - MSE(model) / Var(y_true). R-kvadreret måler den andel af variansen i målet, som modellen forklarer. R^2 = 1,0 betyder perfekte forudsigelser (ingen varians i residualerne). R^2 = 0,0 betyder, at modellen ikke er bedre end at forudsige gennemsnittet af y for hver observation. R^2 kan være negativ, hvis modellen er dårligere end gennemsnitsbaseline. R^2 er uafhængig af skalaen — en værdi på 0,85 betyder det samme, uanset om målet er boligpriser eller temperaturer. Det gør målet til det primære mål ved sammenligning af regressionsmodeller på tværs af forskellige problemer eller skalaer.

Hvis du føjer flere egenskaber til en regressionsmodel, øger det altid R^2 (eller lader den være uændret) på træningsdata — også selvom egenskaberne blot er tilfældig støj. Justeret R^2 korrigerer for dette ved at straffe antallet af egenskaber: det falder, når du tilføjer en egenskab, der ikke forbedrer modellen nok til at retfærdiggøre den ekstra kompleksitet. Formel: Adj R^2 = 1 - (1 - R^2) * (n-1) / (n-p-1), hvor n = observationer og p = egenskaber. Brug justeret R^2, når du sammenligner modeller med forskelligt antal egenskaber, så du undgår at vælge unødigt komplekse modeller.

MAPE = 100 * mean(|y_true - y_pred| / |y_true|). Gennemsnitlig absolut procentvis fejl udtrykker fejlen som en procentdel af den faktiske værdi, hvilket gør målet uafhængigt af skalaen og let at fortolke: en MAPE på 5 % betyder, at forudsigelserne i gennemsnit afviger med 5 % fra den sande værdi. Begrænsninger: MAPE er udefineret, når de faktiske værdier er nul (division med nul), og den er asymmetrisk — underforudsigelse giver en større fejl end overforudsigelse med samme beløb. Brug MAPE til prognoseopgaver (salg og efterspørgsel), hvor interessenter naturligt forstår procentvise afvigelser.

Scikit-learn indeholder alle de vigtigste regressionsmål i sklearn.metrics. Når du bruger cross_val_score, skal du angive scoring='neg_mean_squared_error' (negativ, fordi højere værdier efter konvention er bedre) og ændre fortegnet på resultatet, eller bruge 'neg_root_mean_squared_error' for at få RMSE direkte. Til R^2 skal du bruge scoring='r2'. Rapportér altid flere mål: MAE for den gennemsnitlige absolutte fejl, RMSE for at vise følsomheden over for afvigere og R^2 for den forklarede varians. Det giver et komplet billede af modellens ydeevne.

Ud over opsummerende mål viser residualanalyse, om modellens antagelser er opfyldt. Afbild residualerne (y_true - y_pred) i forhold til de forudsagte værdier. En god model viser: (1) residualer, der er tilfældigt spredt omkring nul uden noget mønster (homoskedasticitet), (2) ingen sammenhæng mellem residualernes størrelse og den forudsagte værdi (ingen heteroskedasticitet). Advarselstegn: en tragtform (residualerne vokser med den forudsagte værdi) tyder på, at modellen har brug for en logaritmisk transformation; et buet mønster tyder på, at sammenhængen ikke er lineær, og at modellen er forkert specificeret. Udfør altid residualanalyse, før du implementerer en regressionsmodel.

En praktisk vejledning: Brug MAE, når du vil minimere den gennemsnitlige absolutte fejl, og afvigere ikke bør fremhæves for meget — det er et robust valg til generel rapportering. Brug RMSE, når din model minimerer MSE under træningen, og du ønsker, at evalueringen skal stemme overens med træningen, eller når store fejl er særligt dyre (prognoser for efterspørgsel og energiforbrug). Brug R^2 til at sammenligne modeller på det samme datasæt eller forklare modellens kvalitet til ikke-tekniske interessenter som »procentdel af forklaret varians«. Brug MAPE til forretningsprognoser, hvor procentvise afvigelser fra de faktiske værdier er interessenternes naturlige sprog.

I denne lektion lærte du: MAE beregner gennemsnittet af de absolutte fejl og er robust over for afvigere, RMSE kvadrerer fejlene og straffer store afvigelser hårdere, R^2 måler den andel af variansen, der forklares (0 = gennemsnitsbaseline, 1 = perfekt), og forskellen mellem MAE og RMSE viser, hvor koncentrerede afvigerfejlene er. Nu ser vi nærmere på, hvordan du vælger den rigtige metrik til dit specifikke forretningsproblem.