Fra regression til klassifikation: Beslutninger med tærskler

Klassifikation er den overvågede læringsopgave, hvor man forudsiger, hvilken kategori et input tilhører, i stedet for at forudsige et kontinuerligt tal. Eksempler omfatter:

• At forudsige, om en e-mail er spam eller ikke-spam (binær).
• At forudsige, hvilket ciffer (0-9) der er på et billede (flere klasser).
• At forudsige, hvilken sygdom en patient har ud fra symptomer (flere klasser).

Den afgørende forskel fra regression er, at outputtet er en diskret etiket og ikke et reelt tal. Denne tilsyneladende lille ændring kræver andre algoritmer, andre tabsfunktioner og andre evalueringsmål.

En nærliggende tilgang er at kode klasse 0 og klasse 1 som tal og anvende lineær regression. Du kan for eksempel kode »ikke-spam« som 0 og »spam« som 1 og derefter træne en lineær regressionsmodel. Det umiddelbare problem er, at lineær regression kan give output fra -∞ til +∞, mens sandsynligheder skal ligge mellem 0 og 1. En forudsigelse på 1,7 for klassetilhørsforhold giver ingen mening.

Et andet problem er, at lineær regression forsøger at trække den bedst tilpassede linje gennem alle eksempler. Hvis du tilføjer en tydelig afvigelse langt fra grænsen, kan linjen dreje, så den fejlklassificerer mange eksempler, der tidligere var klassificeret korrekt. Tabsfunktionen er grundlæggende forkert til binære resultater.

Den enkleste tilgang til klassifikation er at bruge outputtet fra en regressionsmodel som en score og anvende en tærskel for at konvertere den til en binær etiket. Hvis scoren er over tærsklen, forudsiges klasse 1; hvis den er under, forudsiges klasse 0.

Med output fra en lineær regression kan du for eksempel vælge en tærskel på 0,5: Alt over 0,5 er spam, og alt under er ikke-spam. Det kaldes en tærskelklassifikator. Selvom det er en grov metode, illustrerer den det centrale begreb: scorer skal konverteres til beslutninger, og valget af tærskel indebærer en afvejning mellem forskellige typer fejl.

Det er arbitrært at vælge en tærskel på 0,5. Den optimale tærskel afhænger af de forskellige fejltypers relative omkostninger:

• En falsk positiv (du forudsiger spam, selvom det ikke er spam) betyder, at en legitim e-mail ender i spam-mappen.
• En falsk negativ (du forudsiger ikke-spam, selvom det er spam) betyder, at en uønsket e-mail når indbakken.

Ved medicinsk diagnosticering er omkostningerne langt mere asymmetriske: En falsk negativ (hvor en faktisk sygdom overses) kan være katastrofal, så du sænker tærsklen for at finde flere sande positive, selvom det medfører flere falske alarmer. Tærsklen er en forretningsbeslutning, ikke en matematisk beslutning.

Binær klassifikation har præcis to mulige outputklasser (spam/ikke-spam, syg/rask, svindel/legitim). Klassifikation med flere klasser har tre eller flere klasser (hvilket ciffer fra 0-9, hvilken blomsterart, hvilken produktkategori).

De fleste binære klassifikatorer udvides til flere klasser gennem to strategier:

• One-vs-Rest (OvR): Træn én binær klassifikator pr. klasse, og forudsig den klasse, hvis klassifikator er mest sikker.
• One-vs-One (OvO): Træn en binær klassifikator for hvert par af klasser, og brug flertalsafgørelse.

Scikit-learn håndterer dette automatisk for de fleste algoritmer.

En klassifikator opdeler feature-rummet i områder, ét for hver klasse. Grænsen mellem områderne kaldes beslutningsgrænsen. For en lineær klassifikator er beslutningsgrænsen en lige linje (i 2D), et plan (i 3D) eller et hyperplan (i højere dimensioner).

Det er beslutningsgrænsens placering og form, som algoritmen lærer under træningen. Visualisering af beslutningsgrænsen på et 2D-datasæt er en af de bedste måder at opbygge en intuitiv forståelse af, hvordan en klassifikator fungerer, og hvorfor dens forudsigelser er korrekte eller forkerte i bestemte områder af feature-rummet.

Nøjagtighed er andelen af forudsigelser, der er korrekte: accuracy = correct_predictions / total_predictions. Det er det mest intuitive mål og egner sig, når klasserne er afbalancerede, og alle fejl har samme omkostning.

Nøjagtighed kan dog være en fælde ved datasæt med skæve klassefordelinger. Hvis 95 % af e-mails er legitime, og din model forudsiger »ikke-spam« for alt, opnår den 95 % nøjagtighed, selvom den fuldstændig svigter sin opgave — den fanger ikke en eneste spam-e-mail. Dette er nøjagtighedsparadokset, og det er grunden til, at man bruger mere informative mål som præcision og recall.

De fleste scikit-learn-klassifikatorer har to forudsigelsesmetoder:

• predict(X) — returnerer den endelige klasseetiket efter anvendelse af standardtærsklen (normalt 0,5 ved binær klassifikation).
• predict_proba(X) — returnerer et sandsynlighedsarray med formen (n_samples, n_classes), som angiver modellens sikkerhed for hver klasse.

Ved at bruge predict_proba får du langt mere kontrol, fordi du kan anvende en hvilken som helst tærskel. Det er afgørende i forretningsapplikationer, hvor den optimale tærskel ikke er 0,5.

Hvis du anvender en tilpasset tærskel på sandsynlighedsoutput, kan du justere afvejningen mellem falske positive og falske negative uden at træne modellen igen. Det kaldes tærskelflytning og er et almindeligt efterbehandlingstrin i produktionssystemer.

Lavere tærskel → modellen markerer flere eksempler som positive → flere sande positive, men også flere falske positive. Højere tærskel → mere konservativ model → færre falske positive, men flere falske negative. Den rigtige tærskel bestemmes af omkostningen ved hver fejltype i din specifikke applikation.

Lineær regression med en tærskel er kun begyndelsen. Scikit-learn indeholder mange dedikerede klassifikationsalgoritmer, hver med sine styrker og svagheder:

• Logistic Regression — den korrekte probabilistiske lineære klassifikator (i næste lektion).
• K-Nearest Neighbors — klassificerer ud fra flertalsafgørelsen blandt de nærmeste træningseksempler.
• Decision Trees — regelbaserede og fuldt fortolkelige.
• Random Forest — en samling af træer, der er robust og effektiv.
• SVM — finder hyperplanet med den største margin.
• Naive Bayes — hurtig og probabilistisk samt fremragende til tekst.

I denne lektion lærte du, at lineær regression ikke fungerer til binær klassifikation, fordi den giver ubegrænsede output, der ikke kan repræsentere sandsynligheder, at anvendelse af en tærskel konverterer sandsynlighedsscorer til klasseetiketter med en justerbar afvejning mellem falske positive og falske negative, og at nøjagtighed er misvisende ved datasæt med skæve klassefordelinger — recall og præcision giver et mere komplet billede. Næste gang ser vi på logistisk regression — den korrekte probabilistiske lineære klassifikator, der bruger sigmoidfunktionen til at generere kalibrerede sandsynligheder.