SVM Teorisi: Marjlar ve Destek Vektörleri

Destek Vektör Makinesi, iki sınıfı en iyi ayıran sınırı bulan bir sınıflandırıcıdır. Herhangi bir ayırıcı doğru yerine, sınıflar arasındaki aralığı en geniş olan doğruyu arar.

2B'de sınır bir doğrudur; daha yüksek boyutlarda ise bir hiper düzlemdir. SVM bu düzlemi w . x + b = 0 olarak tanımlar ve noktaları hangi tarafta kaldıklarına göre sınıflandırır.

Marj, hiper düzlem ile her sınıfın en yakın noktaları arasındaki uzaklıktır. SVM'ler bu marjı en üst düzeye çıkarır; çünkü daha geniş bir aralık genellikle yeni verilere daha iyi genellenir.

Tüm geçerli sınırlar arasından SVM, maksimum marjlı hiper düzlemi seçer: her iki taraftaki en yakın noktalardan en uzakta olan düzlemi. SVM'leri dayanıklı kılan temel fikir budur.

Destek vektörleri, sınıra en yakın olan ve marjın kenarlarına dokunan veri noktalarıdır. Hiper düzlemi yalnızca onlar belirler; diğer noktaların kaldırılması düzlemi değiştirmez.

Modeli yalnızca destek vektörleri tanımladığı için SVM'ler tahmin sırasında belleği verimli kullanır ve uzaktaki kolay örnekler yerine, sınıra yakın en zor ve en bilgilendirici örneklere odaklanır.

Sert marjlı bir SVM kusursuz ayrım gerektirir: hiçbir nokta marjı geçemez. Bu yalnızca veriler mükemmel biçimde doğrusal olarak ayrılabilir olduğunda işe yarar ve aykırı değerlere karşı çok hassastır.

Gerçek veriler gürültülüdür ve nadiren kusursuz biçimde ayrılabilir. Tek bir aykırı değer sert marjı olanaksız hâle getirebilir veya marjı gerçek dışı biçimde daraltabilir. Bazı hatalara izin vermemiz gerekir.

Yumuşak marj, bazı noktaların marjı ihlal etmesine veya yanlış sınıflandırılmasına izin verir; birkaç hata karşılığında daha geniş ve daha dayanıklı bir sınır elde edilir. Bu durum C parametresiyle denetlenir.

C, ihlaller için uygulanacak cezayı belirler. Daha büyük C hataları ağır biçimde cezalandırır ve eğitim verilerine sıkı uyan daha küçük bir marj oluşturur (aşırı öğrenme riski). Daha küçük C daha fazla esneklik payına ve daha geniş bir marja izin verir (daha fazla düzenlileştirme).

C'yi çapraz doğrulamayla seçin. Çok büyük değer aşırı öğrenmeye, çok küçük değer yetersiz öğrenmeye yol açar. En iyi değer, verileriniz için marj genişliği ile eğitim doğruluğu arasında denge kurar.

Özet: SVM'ler sınıfları ayıran maksimum marjlı hiper düzlemi bulur. Destek vektörleri en yakın noktalardır ve sınırı tek başlarına tanımlar. Sert marj kusursuz ayrım gerektirir; yumuşak marj ise C ile denetlenen ihlallere izin verir (daha büyük C = daha küçük marj, daha az düzenlileştirme).