SVM 이론: 마진과 서포트 벡터

서포트 벡터 머신은 두 클래스를 가장 잘 분리하는 경계를 찾는 분류기입니다. 아무 분리 직선이나 선택하는 대신, 클래스 사이의 간격이 가장 넓은 직선을 찾습니다.

2차원에서는 경계가 직선이고, 더 높은 차원에서는 초평면입니다. SVM은 이를 w . x + b = 0으로 정의하며, 점이 어느 쪽에 놓이는지에 따라 분류합니다.

마진은 초평면과 각 클래스에서 가장 가까운 점 사이의 거리입니다. SVM은 마진을 최대화하는데, 간격이 넓을수록 새 데이터에 더 잘 일반화되는 경우가 많기 때문입니다.

유효한 모든 경계 중에서 SVM은 최대 마진 초평면을 선택합니다. 이는 양쪽에서 가장 가까운 점으로부터 가장 멀리 떨어진 초평면입니다. 이 원리가 SVM을 견고하게 만드는 핵심입니다.

서포트 벡터는 경계에 가장 가까우며 마진의 가장자리에 닿아 있는 데이터 점입니다. 이 점들만 초평면을 결정하므로 다른 점을 제거해도 초평면은 바뀌지 않습니다.

모델을 정의하는 것은 서포트 벡터뿐이므로 SVM은 예측 시 메모리 효율이 높습니다. 또한 멀리 떨어진 쉬운 예제보다 경계 근처의 가장 어렵고 정보가 많은 예제에 집중합니다.

하드 마진 SVM은 완벽한 분리를 요구하므로 어떤 점도 마진을 넘어설 수 없습니다. 이는 데이터가 완벽하게 선형 분리 가능할 때만 작동하며 이상치에 매우 민감합니다.

실제 데이터에는 잡음이 있고 완벽하게 분리되는 경우도 드뭅니다. 단 하나의 이상치만으로도 하드 마진이 불가능해지거나 마진이 터무니없이 좁아질 수 있습니다. 따라서 일부 오류를 허용해야 합니다.

소프트 마진은 일부 점이 마진을 위반하거나 잘못 분류되는 것을 허용합니다. 몇 가지 오류를 감수하는 대신 더 넓고 견고한 경계를 얻는 방식입니다. 이는 C 매개변수로 제어합니다.

C는 위반에 대한 페널티를 설정합니다. 더 큰 C는 오류를 강하게 처벌하여 훈련 데이터에 밀착된 더 작은 마진을 만들며, 과적합 위험이 있습니다. 더 작은 C는 더 많은 여유를 허용하고 더 넓은 마진을 만들어 규제를 강화합니다.

교차 검증으로 C를 선택하십시오. 너무 크면 과적합되고 너무 작으면 과소적합됩니다. 가장 좋은 값은 데이터에 맞게 마진 너비와 훈련 정확도 사이의 균형을 맞춥니다.

복습: SVM은 클래스를 분리하는 최대 마진 초평면을 찾습니다. 서포트 벡터는 가장 가까운 점이며 이 점들만 경계를 정의합니다. 하드 마진에는 완벽한 분리가 필요하고, 소프트 마진은 C로 제어되는 위반을 허용합니다(C가 클수록 마진이 작고 규제가 약함).