Théorie des SVM : marges et vecteurs de support

Une machine à vecteurs de support est un classifieur qui recherche la frontière séparant au mieux deux classes. Au lieu de choisir n’importe quelle droite séparatrice, elle cherche celle qui offre l’écart le plus large entre les classes.

En 2D, la frontière est une droite ; dans des dimensions supérieures, c’est un hyperplan. Le SVM le définit par w . x + b = 0 et classe les points selon le côté où ils se trouvent.

La marge est la distance entre l’hyperplan et les points les plus proches de chaque classe. Les SVM maximisent cette marge, car un écart plus large se généralise généralement mieux à de nouvelles données.

Parmi toutes les frontières valides, le SVM choisit l’hyperplan à marge maximale : celui qui est le plus éloigné des points les plus proches des deux côtés. C’est l’idée centrale qui rend les SVM robustes.

Les vecteurs de support sont les points de données les plus proches de la frontière, ceux qui touchent les bords de la marge. Eux seuls déterminent l’hyperplan ; supprimer les autres points ne le modifie pas.

Puisque seuls les vecteurs de support définissent le modèle, les SVM utilisent peu de mémoire au moment de la prédiction et se concentrent sur les exemples les plus difficiles et les plus informatifs, proches de la frontière, plutôt que sur les exemples faciles qui en sont éloignés.

Un SVM à marge stricte exige une séparation parfaite : aucun point ne peut franchir la marge. Cette approche ne fonctionne que lorsque les données sont parfaitement séparables linéairement et elle est très sensible aux valeurs aberrantes.

Les données réelles sont bruitées et rarement parfaitement séparables. Une seule valeur aberrante peut rendre une marge stricte impossible ou imposer une marge absurdement étroite. Nous devons autoriser quelques erreurs.

Une marge souple autorise certains points à enfreindre la marge ou à être mal classés, au prix de quelques erreurs pour obtenir une frontière plus large et plus robuste. Ce comportement est contrôlé par le paramètre C.

C définit la pénalité appliquée aux infractions. Une valeur élevée de C punit fortement les erreurs et produit une marge plus petite, qui s’ajuste étroitement aux données d’entraînement (avec un risque de surapprentissage). Une valeur faible de C autorise davantage de relâchement et une marge plus large (avec davantage de régularisation).

Choisissez C à l’aide de la validation croisée. Une valeur trop élevée entraîne un surapprentissage ; une valeur trop faible un sous-apprentissage. La meilleure valeur établit un équilibre entre la largeur de la marge et la précision sur les données d’entraînement.

Évaluez vos connaissances théoriques sur les SVM.

Récapitulatif : les SVM recherchent l’hyperplan à marge maximale qui sépare les classes. Les vecteurs de support sont les points les plus proches et définissent à eux seuls la frontière. Une marge stricte exige une séparation parfaite ; une marge souple autorise des infractions contrôlées par C (une valeur élevée de C produit une marge plus petite et moins de régularisation).