SVM-Theorie: Margins und Support-Vektoren

Eine Support Vector Machine ist ein Klassifikator, der die Grenze mit der besten Trennung zwischen zwei Klassen findet. Statt irgendeiner trennenden Linie sucht sie diejenige mit dem größten Abstand zwischen den Klassen.

In 2D ist die Grenze eine Linie, in höheren Dimensionen eine Hyperebene. Die SVM definiert sie als w . x + b = 0 und klassifiziert Punkte danach, auf welcher Seite sie liegen.

Die Margin ist der Abstand zwischen der Hyperebene und den nächstgelegenen Punkten jeder Klasse. SVMs maximieren diese Margin, weil ein größerer Abstand normalerweise zu einer besseren Verallgemeinerung auf neue Daten führt.

Von allen gültigen Grenzen wählt die SVM die Hyperebene mit maximaler Margin: diejenige, die von den nächstgelegenen Punkten auf beiden Seiten den größten Abstand hat. Das ist die zentrale Idee, die SVMs robust macht.

Die Support-Vektoren sind die Datenpunkte, die der Grenze am nächsten liegen und die Ränder der Margin berühren. Nur sie bestimmen die Hyperebene; das Entfernen der übrigen Punkte ändert sie nicht.

Da nur die Support-Vektoren das Modell definieren, benötigen SVMs bei der Vorhersage wenig Speicher. Außerdem konzentrieren sie sich auf die schwierigsten und aussagekräftigsten Beispiele nahe der Grenze statt auf die einfachen Beispiele in großer Entfernung.

Eine SVM mit harter Margin verlangt eine perfekte Trennung: Kein Punkt darf die Margin überschreiten. Das funktioniert nur, wenn die Daten perfekt linear trennbar sind, und macht das Modell sehr empfindlich gegenüber Ausreißern.

Reale Daten sind verrauscht und nur selten perfekt trennbar. Ein einziger Ausreißer kann eine harte Margin unmöglich machen oder eine unrealistisch dünne Margin erzwingen. Daher müssen wir einige Fehler zulassen.

Eine weiche Margin erlaubt es einigen Punkten, die Margin zu verletzen oder falsch klassifiziert zu werden. Dafür nimmt sie wenige Fehler zugunsten einer breiteren und robusteren Grenze in Kauf. Gesteuert wird dies durch den Parameter C.

C legt die Strafe für Verletzungen fest. Ein größeres C bestraft Fehler stärker und führt zu einer kleineren Margin, die sich eng an die Trainingsdaten anpasst (mit dem Risiko von Overfitting). Ein kleineres C erlaubt mehr Spielraum und eine breitere Margin (mehr Regularisierung).

Wählen Sie C mithilfe von Cross-Validation. Ein zu großer Wert führt zu Overfitting, ein zu kleiner zu Underfitting. Der beste Wert stellt für Ihre Daten ein Gleichgewicht zwischen der Breite der Margin und der Genauigkeit auf den Trainingsdaten her.

Testen Sie Ihr Wissen über die Theorie der SVM.

Zusammenfassung: SVMs finden die Hyperebene mit maximaler Margin, die Klassen voneinander trennt. Die Support-Vektoren sind die nächstgelegenen Punkte und definieren allein die Grenze. Eine harte Margin erfordert eine perfekte Trennung, während eine weiche Margin Verletzungen zulässt, die durch C gesteuert werden (größeres C = kleinere Margin, weniger Regularisierung).