SVM per la regressione (SVR)

L'idea del margine si estende alla regressione. La Support Vector Regression (SVR) adatta una funzione mantenendo le predizioni all'interno di una banda di tolleranza e ignorando gli errori piccoli.

SVR traccia un tubo epsilon attorno alla funzione predetta. I punti all'interno del tubo contribuiscono con una perdita pari a zero; vengono penalizzati solo i punti esterni. In questo modo il modello si concentra sugli errori significativi.

Ignorando le piccole deviazioni, SVR resiste all'overfitting del rumore e produce un adattamento più uniforme e robusto. Le piccole oscillazioni entro la tolleranza non influiscono semplicemente sul modello.

SVR è analogo a SVC e supporta gli stessi kernel. RBF è l'impostazione predefinita più comune per la regressione non lineare.

epsilon imposta la larghezza del tubo. Un epsilon più grande comporta una banda più ampia, un numero inferiore di vettori di supporto e un modello più semplice. Un epsilon più piccolo adatta il modello più strettamente ai dati.

Come nella classificazione, C controlla la penalità per i punti esterni al tubo. Un valore di C più grande penalizza maggiormente questi errori, producendo un adattamento più preciso; un valore di C più piccolo applica una regolarizzazione maggiore, per una curva più uniforme.

Ricordi la differenza: epsilon controlla la larghezza del tubo (quanto errore ignorare), mentre C controlla la penalità per gli errori che si trovano al di fuori del tubo. Ottimizzi entrambi.

Come tutte le SVM, SVR dipende dalle distanze ed è sensibile alla scala. Standardizzi sempre le feature e consideri anche la scalatura della variabile obiettivo per ottenere un addestramento stabile.

Esegua una ricerca su griglia di C, gamma ed epsilon per trovare l'adattamento migliore. Utilizzi una metrica di regressione, come l'errore quadratico medio negativo, per il calcolo del punteggio.

NuSVR sostituisce epsilon con nu (tra 0 e 1), che controlla direttamente la frazione di vettori di supporto e di errori di addestramento: si tratta di una parametrizzazione alternativa che alcuni trovano più intuitiva.

SVR funziona bene su dataset di dimensioni piccole o medie con pattern non lineari e quando è importante la robustezza al rumore. Per quantità di dati molto grandi, preferisca i modelli lineari o il gradient boosting, che si adattano meglio a questo scenario.

Riepilogo: SVR adatta una funzione all'interno di un tubo insensibile a epsilon, nel quale i punti interni hanno costo nullo. epsilon imposta la larghezza del tubo (un valore maggiore produce un modello più semplice), mentre C penalizza i punti esterni. Ridimensioni sempre le feature, ottimizzi C/gamma/epsilon e consideri NuSVR come parametrizzazione alternativa.