Teoria delle SVM: margini e vettori di supporto

Una macchina a vettori di supporto è un classificatore che individua il confine che separa meglio due classi. Invece di cercare una qualsiasi retta di separazione, cerca quella con il margine più ampio tra le classi.

In 2D il confine è una retta; in dimensioni superiori è un iperpiano. L'SVM lo definisce come w . x + b = 0 e classifica i punti in base al lato del confine in cui si trovano.

Il margine è la distanza tra l'iperpiano e i punti più vicini di ciascuna classe. Gli SVM massimizzano questo margine perché un intervallo più ampio in genere si generalizza meglio ai nuovi dati.

Tra tutti i confini validi, l'SVM sceglie l'iperpiano a margine massimo: quello più lontano dai punti più vicini su entrambi i lati. Questo è il principio fondamentale che rende robusti gli SVM.

I vettori di supporto sono i punti dati più vicini al confine, cioè quelli che toccano i bordi del margine. Solo questi determinano l'iperpiano; rimuovere gli altri punti non lo modifica.

Poiché solo i vettori di supporto definiscono il modello, gli SVM utilizzano poca memoria in fase di predizione e si concentrano sugli esempi più difficili e informativi vicini al confine, anziché su quelli facili e lontani.

Un SVM a margine rigido richiede una separazione perfetta: nessun punto può oltrepassare il margine. Funziona solo quando i dati sono perfettamente separabili linearmente ed è molto sensibile ai valori anomali.

I dati reali sono rumorosi e raramente perfettamente separabili. Un singolo valore anomalo può rendere impossibile un margine rigido o costringere a utilizzare un margine assurdamente sottile. È quindi necessario consentire alcuni errori.

Un margine morbido consente ad alcuni punti di violare il margine o di essere classificati erroneamente, scambiando alcuni errori con un confine più ampio e robusto. Questo comportamento è controllato dal parametro C.

C stabilisce la penalità per le violazioni. Un C maggiore punisce severamente gli errori e produce un margine più piccolo, adattandosi strettamente ai dati di addestramento (con rischio di overfitting). Un C minore lascia più flessibilità e produce un margine più ampio (con maggiore regolarizzazione).

Scelga C con la convalida incrociata. Un valore troppo grande causa overfitting, mentre uno troppo piccolo causa underfitting. Il valore migliore bilancia l'ampiezza del margine e l'accuratezza sui dati di addestramento in base ai vostri dati.

Verifichi la sua conoscenza della teoria degli SVM.

Riepilogo: gli SVM individuano l'iperpiano a margine massimo che separa le classi. I vettori di supporto sono i punti più vicini e definiscono da soli il confine. Un margine rigido richiede una separazione perfetta; un margine morbido consente violazioni controllate da C (C maggiore = margine più piccolo, minore regolarizzazione).