Teoría de SVM: márgenes y vectores de soporte

Una máquina de vectores de soporte es un clasificador que encuentra la frontera que mejor separa dos clases. En lugar de elegir cualquier línea de separación, busca la que tenga la mayor distancia entre las clases.

En 2D, la frontera es una línea; en dimensiones superiores, es un hiperplano. La SVM lo define como w . x + b = 0 y clasifica los puntos según el lado en el que se encuentren.

El margen es la distancia entre el hiperplano y los puntos más cercanos de cada clase. Las SVM maximizan este margen porque una separación más amplia suele generalizar mejor con datos nuevos.

Entre todas las fronteras válidas, la SVM elige el hiperplano de margen máximo: el que está más alejado de los puntos más cercanos a ambos lados. Esta es la idea central que hace robustas a las SVM.

Los vectores de soporte son los puntos de datos más cercanos a la frontera, los que tocan los límites del margen. Solo ellos determinan el hiperplano; eliminar los demás puntos no lo modifica.

Como solo los vectores de soporte definen el modelo, las SVM utilizan poca memoria durante la predicción y se centran en los ejemplos más difíciles e informativos cercanos a la frontera, en lugar de los ejemplos fáciles y alejados.

Una SVM con margen duro exige una separación perfecta: ningún punto puede atravesar el margen. Esto solo funciona cuando los datos son perfectamente separables linealmente y es muy sensible a los valores atípicos.

Los datos reales contienen ruido y rara vez son perfectamente separables. Un solo valor atípico puede hacer imposible un margen duro o forzar un margen absurdamente estrecho. Es necesario permitir algunos errores.

Un margen blando permite que algunos puntos infrinjan el margen o se clasifiquen incorrectamente, intercambiando unos pocos errores por una frontera más amplia y robusta. Esto se controla mediante el parámetro C.

C establece la penalización por las infracciones. Un C más grande castiga duramente los errores y produce un margen más pequeño que se ajusta estrechamente a los datos de entrenamiento (con riesgo de sobreajuste). Un C más pequeño permite más holgura y un margen más amplio (mayor regularización).

Elija C mediante validación cruzada. Un valor demasiado grande produce sobreajuste; uno demasiado pequeño, infraajuste. El mejor valor equilibra la amplitud del margen y la precisión en el entrenamiento para sus datos.

Compruebe sus conocimientos teóricos sobre las SVM.

Repaso: las SVM encuentran el hiperplano de margen máximo que separa las clases. Los vectores de soporte son los puntos más cercanos y definen por sí solos la frontera. Un margen duro necesita una separación perfecta; un margen blando permite infracciones controladas por C (C más grande = margen más pequeño y menor regularización).