SVM pour la régression (SVR)

L'idée de marge s'étend à la régression. La régression par vecteurs de support (SVR) ajuste une fonction tout en maintenant les prédictions dans une bande de tolérance et en ignorant les petites erreurs.

SVR trace un tube insensible à epsilon autour de la fonction prédite. Les points à l'intérieur du tube contribuent à une perte nulle ; seuls les points situés à l'extérieur sont pénalisés. Le modèle se concentre ainsi sur les erreurs significatives.

En ignorant les écarts infimes, SVR résiste au surajustement du bruit et produit un ajustement plus lisse et plus robuste. Les petites ondulations à l'intérieur de la tolérance n'ont tout simplement aucun effet sur le modèle.

SVR fonctionne comme SVC et prend en charge les mêmes noyaux. RBF est le choix par défaut courant pour la régression non linéaire.

epsilon définit la largeur du tube. Une valeur d'epsilon plus grande produit une bande plus large, moins de vecteurs de support et un modèle plus simple. Une valeur plus petite ajuste les données plus étroitement.

Comme en classification, C contrôle la pénalité appliquée aux points situés à l'extérieur du tube. Une valeur de C plus grande sanctionne davantage ces erreurs et force davantage l'ajustement ; une valeur plus petite renforce la régularisation pour obtenir une courbe plus lisse.

Retenez la distinction : epsilon contrôle la largeur du tube (la quantité d'erreur à ignorer), tandis que C contrôle la pénalité des erreurs qui se trouvent à l'extérieur du tube. Réglez les deux.

Comme tous les SVM, SVR dépend des distances et est sensible à l'échelle. Standardisez toujours les caractéristiques et envisagez également de mettre la variable cible à l'échelle pour stabiliser l'entraînement.

Effectuez une recherche sur grille pour C, gamma et epsilon afin de trouver le meilleur ajustement. Utilisez une métrique de régression, comme l'erreur quadratique moyenne négative, pour l'évaluation.

NuSVR remplace epsilon par nu (compris entre 0 et 1). Ce paramètre contrôle directement la proportion de vecteurs de support et d'erreurs d'entraînement ; il s'agit d'une autre paramétrisation que certaines personnes trouvent plus facile à interpréter.

SVR fonctionne bien sur les jeux de données petits à moyens présentant des motifs non linéaires et lorsque la robustesse au bruit est importante. Pour les volumes de données très importants, préférez les modèles linéaires ou le renforcement par gradient, qui passent mieux à l'échelle.

Évaluez vos connaissances sur SVR.

Récapitulatif : SVR ajuste une fonction à l'intérieur d'un tube insensible à epsilon, où les points intérieurs ont un coût nul. epsilon définit la largeur du tube (une valeur plus grande donne un modèle plus simple), tandis que C pénalise les points situés à l'extérieur. Mettez toujours les caractéristiques à l'échelle, réglez C/gamma/epsilon, et envisagez NuSVR comme autre paramétrisation.