SVM para regresión (SVR)

La idea del margen también se extiende a la regresión. La regresión de vectores de soporte (SVR) ajusta una función manteniendo las predicciones dentro de una banda de tolerancia e ignorando los errores pequeños.

SVR traza un tubo de epsilon alrededor de la función predicha. Los puntos dentro del tubo contribuyen con una pérdida cero; solo se penalizan los puntos que quedan fuera. Esto concentra el modelo en los errores relevantes.

Al ignorar las pequeñas desviaciones, SVR evita ajustarse en exceso al ruido y produce un ajuste más suave y robusto. Las pequeñas oscilaciones dentro de la tolerancia simplemente no afectan al modelo.

SVR funciona de forma similar a SVC y admite los mismos kernels. RBF es la opción predeterminada habitual para la regresión no lineal.

epsilon establece la anchura del tubo. Un epsilon mayor significa una banda más ancha, menos vectores de soporte y un modelo más sencillo. Un epsilon menor ajusta los datos con mayor precisión.

Al igual que en la clasificación, C controla la penalización de los puntos que quedan fuera del tubo. Un valor de C mayor penaliza más esos errores y produce un ajuste más preciso; un valor menor aplica una regularización mayor para obtener una curva más suave.

Recuerde la diferencia: epsilon controla la anchura del tubo (cuánto error se ignora), mientras que C controla la penalización de los errores que quedan fuera del tubo. Ajuste ambos parámetros.

Al igual que todos los SVM, SVR depende de las distancias y es sensible a la escala. Estandarice siempre las características y considere escalar también el objetivo para conseguir un entrenamiento estable.

Realice una búsqueda en cuadrícula sobre C, gamma y epsilon para encontrar el mejor ajuste. Utilice una métrica de regresión, como el error cuadrático medio negativo, para la evaluación.

NuSVR reemplaza epsilon por nu (entre 0 y 1), que controla directamente la proporción de vectores de soporte y de errores de entrenamiento; es una parametrización alternativa que a algunas personas les resulta más fácil de interpretar.

SVR funciona bien con conjuntos de datos pequeños o medianos que presentan patrones no lineales y cuando es importante la robustez frente al ruido. Para datos muy grandes, prefiera modelos lineales o gradient boosting, que escalan mejor.

Compruebe sus conocimientos sobre SVR.

Resumen: SVR ajusta una función dentro de un tubo insensible a epsilon, donde los puntos interiores tienen un coste cero. epsilon establece la anchura del tubo (un valor mayor produce un modelo más sencillo), mientras que C penaliza los puntos que quedan fuera. Escale siempre las características, ajuste C/gamma/epsilon y considere NuSVR como una parametrización alternativa.