Klassificerare med maximal marginal: stödvektorer och hyperplan

Support Vector Machines (SVM) är klassificerare som hittar den bästa skiljelinjen mellan två klasser. När flera gränser kan separera klasserna, vilken bör väljas? SVM:s svar är elegant: välj den gräns som ligger så långt som möjligt från varje träningsexempel. Denna maximalt avlägsna gräns kallas hyperplanet med maximal marginal, och SVM:s teoretiska grunder garanterar att den generaliserar bättre till osedda data än godtyckliga separerande gränser.

I 2D är ett hyperplan en linje (en dimension mindre än datarummet). I 3D är det ett plan. I ett p-dimensionellt rum är det en platt yta med (p-1) dimensioner som definieras av ekvationen w·x + b = 0, där w är normalvektorn (vinkelrät mot ytan), x är indatafunktionsvektorn och b är bias-termen. Punkter på den ena sidan uppfyller w·x + b > 0 (predikterad positiv klass), och punkter på den andra sidan uppfyller w·x + b < 0 (predikterad negativ klass).

Marginalen är avståndet mellan beslutsgränsen och de närmaste tränings exemplen från varje klass. SVM definierar två marginalhyperplan som är parallella med beslutsgränsen: w·x + b = +1 för gränsen till den positiva klassen och w·x + b = -1 för gränsen till den negativa klassen. Den totala marginalbredden är 2 / ||w||. För att maximera marginalen minimerar SVM ||w|| (eller ekvivalent ||w||²/2 av matematiska bekvämlighetsskäl), med villkoret att alla punkter klassificeras korrekt.

Stödvektorer är de träningsexempel som ligger exakt på marginalhyperplanen (där w·x + b = ±1). De är de enda exemplen som bestämmer beslutsgränsens position och orientering. Alla andra träningsexempel – de som ligger längre från gränsen – spelar ingen roll för hur den definieras. Detta är en djupgående insikt: SVM:s beslutsgräns definieras helt av en liten delmängd av träningsdata, vilket gör den robust mot merparten av träningsuppsättningen.

Använd sklearn.svm.SVC med kernel='linear' för en linjär klassificerare med maximal marginal. Efter träningen är beslutsfunktionsvärdet för en punkt dess tecknade avstånd till beslutsgränsen – positivt för klass 1 och negativt för klass 0. Metoden decision_function() returnerar dessa obehandlade värden, medan predict() tillämpar teckengränsen för att skapa klassetiketter.

SVM:er beräknar avstånd mellan punkter och hyperplanet med hjälp av skalärprodukten w·x. Om en egenskap sträcker sig från 0 till 1 och en annan från 0 till 1 000 000 kommer egenskapen med den större skalan att dominera avståndsberäkningen, vilket gör att SVM:n nästan ignorerar egenskapen med den mindre skalan. Använd alltid StandardScaler (eller MinMaxScaler) innan en SVM tränas. Detta är ett av de vanligaste misstagen nybörjare gör – även ett perfekt hyperplan kan misslyckas om egenskaperna inte skalas.

Föreställ er att ni placerar en väg mellan två rader av träd (klasser). Vägens mitt är beslutsgränsen och dess bredd är marginalen. Ni vill bygga den bredaste vägen som fortfarande får plats mellan träden utan att träffa något av dem. Träden närmast vägen är stödvektorerna. En bredare väg är bättre eftersom den har större tolerans – ett nytt träd kan placeras var som helst inom vägens bredd och ändå hamna på rätt sida av gränsen.

SVM:er kan tränas på två ekvivalenta sätt: den primala formen (optimera direkt med avseende på w och b) och den duala formen (optimera med avseende på en uppsättning Lagrange-multiplikatorer, en per träningsexempel). Den duala formen är viktig eftersom optimeringen endast innefattar skalärprodukter mellan träningsexempel. Genom att ersätta dessa skalärprodukter med en kärnfunktion avbildas data implicit till ett rum med högre dimension, utan att koordinaterna beräknas explicit – detta är det berömda kerneltricket som möjliggör icke-linjära SVM:er.

SVM-metoden decision_function() returnerar det tecknade avståndet från varje punkt till beslutshyperplanet. Punkter med stora positiva värden tillhör med stor säkerhet den positiva klassen; stora negativa värden anger den negativa klassen. Punkter nära noll ligger nära gränsen och motsvarar de mest osäkra förutsägelserna. Att övervaka fördelningen av beslutsfunktionsvärden på en ny datauppsättning är ett användbart diagnostiskt verktyg – om de flesta värdena samlas nära noll kan modellen vara dåligt lämpad för datan.

Formuleringen med maximal marginal som beskrivits hittills är en SVM med hård marginal, vilket kräver perfekt linjär separerbarhet – ingen träningspunkt får överträda marginalen. Verkliga data är nästan aldrig perfekt linjärt separerbara på grund av brus och överlappande klassfördelningar. Om en SVM med hård marginal används på sådana data misslyckas den (optimeringen saknar en möjlig lösning). Den praktiska lösningen är en SVM med mjuk marginal, som introduceras i nästa lektion och tillåter vissa marginalöverträdelser som styrs av straffparametern C.

Den grundläggande SVM-formuleringen hanterar binär klassificering. För problem med flera klasser använder scikit-learns SVC som standard strategin en-mot-en: den tränar k(k-1)/2 binära klassificerare, en för varje par av klasser, och förutsäger den klass som får flest parvisa röster. För 10 klasser innebär detta 45 binära klassificerare. Ett alternativ är en-mot-alla (via LinearSVC), som tränar k binära klassificerare där var och en skiljer en klass från alla andra. En-mot-en är i allmänhet mer träffsäker men långsammare för många klasser.

I den här lektionen har ni lärt er att: SVM:er hittar hyperplanet med maximal marginal som separerar två klasser, stödvektorer är de avgörande exemplen på marginalen som definierar gränsen, och skalning av egenskaper är nödvändig innan en SVM tränas. Nästa steg är att utforska SVM med mjuk marginal och parametern C, som tillåter kontrollerade marginalöverträdelser.