Kerneltricket: RBF-, polynomielle og sigmoidkerneler

Mange klassifikationsproblemer fra den virkelige verden kan ikke separeres lineært — ingen lige linje (eller hyperplan) kan adskille klasserne korrekt. Data arrangeret i koncentriske ringe kan for eksempel ikke adskilles af nogen lineær grænse. En tilgang er manuelt at oprette nye features (f.eks. x², x×y), som gør klasserne lineært separable i det udvidede rum. Kernel-tricket gør dette automatisk og implicit uden nogensinde at beregne koordinaterne i det højdimensionelle rum.

En feature-map φ(x) transformerer en inputvektor til en repræsentation med flere dimensioner. For eksempel afbilder φ([x₁, x₂]) = [x₁², √2·x₁x₂, x₂²] 2D-data til 3D. Efter denne afbildning kan klasser, der overlappede i 2D, blive lineært separable i 3D. SVM'en finder derefter et hyperplan med maksimal margin i det transformerede rum. Den tilsvarende beslutningsgrænse i det oprindelige 2D-rum er en kurve, hvilket giver SVM'en evnen til ikke-lineær klassifikation.

Det er dyrt eller endda umuligt at beregne φ(x) eksplicit (nogle feature-maps producerer vektorer med uendelig mange dimensioner). Den centrale indsigt er, at SVM'ens duale formulering kun behøver prikprodukter φ(xᵢ)·φ(xⱼ), ikke de individuelle feature-vektorer. En kernelfunktion K(xᵢ, xⱼ) beregner dette prikprodukt direkte ud fra de oprindelige input uden nogensinde at konstruere φ(xᵢ). Det er kernel-tricket: dyre prikprodukter i højdimensionelle rum beregnes billigt i inputrummet.

Den polynomielle kernel er defineret som K(xᵢ, xⱼ) = (γ · xᵢ·xⱼ + r)^d, hvor d er polynomiets grad, γ er en skaleringsfaktor, og r er parameteren coef0. En polynomiel kernel af grad 2 opretter implicit alle parvise interaktioner (x₁x₂) og kvadrerede led (x₁²). Højere grader skaber mere komplekse grænser, men medfører risiko for overtilpasning. I scikit-learn skal du bruge SVC(kernel='poly', degree=3).

Den radiale basisfunktionskernel (RBF-kernel), også kaldet den gaussiske kernel, er defineret som K(xᵢ, xⱼ) = exp(-γ · ||xᵢ - xⱼ||²). Den måler lighed ud fra afstand: nærliggende punkter har en kernelværdi tæt på 1, mens fjerne punkter har en værdi tæt på 0. RBF-kernen svarer til en feature-map med uendeligt mange dimensioner, hvilket giver SVM'en ubegrænset udtrykskraft. Den er standardkernen i scikit-learns SVC og fungerer godt på de fleste datasæt, når C og γ indstilles korrekt.

Parameteren gamma styrer, hvor langt indflydelsen fra et enkelt træningseksempel rækker. En lille gamma får hvert punkts indflydelse til at række langt — beslutningsgrænsen bliver glat, og modellen underpasser (høj bias). En stor gamma får indflydelsen til at aftage brat — grænsen lægger sig tæt omkring de enkelte træningspunkter (høj varians, overtilpasning). Standardværdier i scikit-learn: gamma='scale' (bruger 1/(n_features × X.var())) eller gamma='auto' (bruger 1/n_features). Du skal altid indstille C og gamma sammen.

Den sigmoidale kernel er K(xᵢ, xⱼ) = tanh(γ · xᵢ·xⱼ + r), som minder om aktiveringsfunktionen i et neuralt netværk med to lag. Den er ikke altid en gyldig (positiv semidefinit) kernel for alle parameterværdier, hvilket betyder, at SVM-optimeringen muligvis ikke konvergerer til et globalt minimum. Den sigmoidale kernel er sjældent det bedste valg i praksis — RBF overgår den næsten altid — men den kan være nyttig, når fortolkningen gennem analogien til neurale netværk er vigtig.

En praktisk vejledning til valg af kernel: Brug lineær, når du har mange features (tekst, genomik), eller når dataene allerede har mange dimensioner — det er unødvendigt at tilføje flere dimensioner via kernels. Brug RBF som standard til tabeldata med få til mellemange dimensioner — den er mest fleksibel og ofte bedst. Brug polynomiel, når du har en konkret grund til at tro, at polynomielle feature-interaktioner er vigtige. Undgå sigmoid, medmindre du eksperimenterer. Sammenlign altid kernels med krydsvalidering på dit specifikke datasæt.

Den største svaghed ved kernel-SVM'er er skalerbarheden. Træning kræver løsning af et kvadratisk programmeringsproblem, der skalerer som O(n²) til O(n³) i antallet af træningseksempler. For 100.000 eksempler kan en RBF-SVM tage flere timer eller løbe tør for hukommelse. Løsninger: (1) Brug LinearSVC til lineære kernels, da den skalerer til millioner af eksempler. (2) Brug approksimative kernelmetoder som Nystroem eller RBFSampler, der opretter eksplicitte feature-maps med få dimensioner. (3) Skift til gradient boosting eller neurale netværk ved virkelig store datasæt.

Den korrekte måde at vælge en kernel på er at sammenligne dem alle med krydsvalidering på dit datasæt. Forskellige datasæt favoriserer forskellige kernels. Et lineært separabelt problem får ingen fordel af RBF. Et problem med kompleks lokal struktur kan have brug for RBF med høj gamma. Start altid med den lineære kernel som baseline, og prøv derefter RBF med en gittersøgning over C og gamma. Hvis ingen af dem klarer sig væsentligt bedre end den anden, skal du vælge lineær af hensyn til fortolkning og hastighed.

Ikke enhver funktion kan bruges som kernel. En gyldig kernel skal opfylde Mercers betingelse: Den skal være symmetrisk (K(x,y) = K(y,x)) og producere en positiv semidefinit Gram-matrix for ethvert sæt input. Det garanterer, at kernen svarer til et gyldigt prikprodukt i et feature-rum, så SVM-optimeringsproblemet bliver konvekst (ét globalt minimum). Brugerdefinerede kernels til DNA-sekvenser, grafer eller tekst kan defineres og sendes til SVC(kernel='precomputed'), så længe de opfylder Mercers sætning.

I denne lektion lærte du: kernelfunktioner beregner implicit prikprodukter i højdimensionelle feature-rum, RBF-kernen er den mest alsidige standardkernel, hvor gamma styrer indflydelsesradius, og kernel-SVM'er skalerer ikke til store datasæt, så overvej lineære kernels eller approksimative metoder først. Næste gang udforsker vi samtidig indstilling af C og gamma med en gittersøgning.