Теория SVM: отступы и опорные векторы

Метод опорных векторов — это классификатор, который находит границу, наилучшим образом разделяющую два класса. Вместо произвольной разделяющей линии он ищет линию с максимальным зазором между классами.

В двумерном пространстве граница является линией, а в пространствах большей размерности — гиперплоскостью. SVM задаёт её уравнением w . x + b = 0 и классифицирует точки по тому, с какой стороны они находятся.

Зазор — это расстояние между гиперплоскостью и ближайшими точками каждого класса. SVM максимизирует этот зазор, поскольку более широкий зазор обычно обеспечивает лучшее обобщение на новые данные.

Из всех допустимых границ SVM выбирает гиперплоскость с максимальным зазором — ту, которая находится дальше всего от ближайших точек по обе стороны. Это основная идея, благодаря которой SVM устойчивы.

Опорные векторы — это точки данных, ближайшие к границе, то есть точки, касающиеся краёв зазора. Только они определяют гиперплоскость; удаление остальных точек её не изменит.

Поскольку модель определяют только опорные векторы, SVM эффективно используют память во время предсказания и сосредотачиваются на самых сложных и информативных примерах возле границы, а не на простых примерах, расположенных далеко от неё.

SVM с жёстким зазором требует идеального разделения: ни одна точка не должна пересекать границу зазора. Это работает только тогда, когда данные идеально линейно разделимы, и такой метод очень чувствителен к выбросам.

Реальные данные содержат шум и редко бывают идеально разделимыми. Один выброс может сделать жёсткий зазор невозможным или вынудить модель использовать неоправданно узкий зазор. Поэтому нужно допускать некоторые ошибки.

Мягкий зазор допускает, что некоторые точки нарушают границу зазора или классифицируются неправильно, обменивая несколько ошибок на более широкий и устойчивый разделитель. Это регулируется параметром штрафа.

C задаёт штраф за нарушения. Большее значение C сильнее наказывает ошибки, что приводит к меньшему зазору, который плотнее соответствует обучающим данным (с риском переобучения). Меньшее значение C допускает больше свободы и более широкий зазор (более сильную регуляризацию).

Выбирайте значение C с помощью перекрёстной проверки. Слишком большое значение приводит к переобучению, а слишком маленькое — к недообучению. Оптимальное значение уравновешивает ширину зазора и точность на обучающих данных для вашего набора данных.

Итоги: SVM находят гиперплоскость с максимальным зазором, разделяющую классы. Опорные векторы — это ближайшие точки, которые единственные определяют границу. Для жёсткого зазора требуется идеальное разделение, а мягкий зазор допускает нарушения, регулируемые параметром C (большее значение C = меньший зазор и более слабая регуляризация).