ทฤษฎี SVM: ขอบเขตและเวกเตอร์ค้ำจุน

เครื่องจักรเวกเตอร์สนับสนุน เป็นตัวจำแนกประเภทที่ค้นหาเส้นขอบเขตซึ่งแยกสองคลาสออกจากกันได้ดีที่สุด แทนที่จะเลือกเส้นแบ่งใด ๆ ก็ได้ วิธีนี้จะหาเส้นที่มีช่องว่างระหว่างคลาสกว้างที่สุด

ในสองมิติ เส้นขอบเขตคือเส้นตรง ส่วนในมิติที่สูงขึ้นจะเป็น ไฮเปอร์เพลน โดย SVM นิยามเส้นนี้เป็น w . x + b = 0 และจำแนกจุดตามด้านที่จุดนั้นอยู่

ระยะขอบ คือระยะห่างระหว่างไฮเปอร์เพลนกับจุดที่ใกล้ที่สุดของแต่ละคลาส SVM จะทำให้ระยะขอบนี้มีค่าสูงสุด เพราะช่องว่างที่กว้างกว่ามักทำให้โมเดลนำไปใช้กับข้อมูลใหม่ได้ดีกว่า

จากขอบเขตที่เป็นไปได้ทั้งหมด SVM จะเลือก ไฮเปอร์เพลนที่มีระยะขอบสูงสุด ซึ่งเป็นไฮเปอร์เพลนที่อยู่ห่างจากจุดที่ใกล้ที่สุดของทั้งสองฝั่งมากที่สุด นี่คือแนวคิดหลักที่ทำให้ SVM มีความทนทาน

เวกเตอร์สนับสนุน คือจุดข้อมูลที่อยู่ใกล้เส้นขอบเขตที่สุด หรือจุดที่แตะขอบของระยะขอบ มีเพียงจุดเหล่านี้เท่านั้นที่กำหนดไฮเปอร์เพลน การนำจุดอื่นออกจะไม่ทำให้ไฮเปอร์เพลนเปลี่ยนแปลง

เนื่องจากมีเพียงเวกเตอร์สนับสนุนที่กำหนดโมเดล SVM จึงใช้หน่วยความจำอย่างมีประสิทธิภาพในเวลาทำนาย และมุ่งเน้นไปที่ตัวอย่างที่ยากและให้ข้อมูลมากที่สุดซึ่งอยู่ใกล้เส้นขอบเขต แทนที่จะสนใจตัวอย่างที่ง่ายและอยู่ห่างออกไป

SVM ที่ใช้ ระยะขอบแบบเข้มงวด ต้องการการแยกที่สมบูรณ์แบบ โดยห้ามมีจุดใดข้ามระยะขอบ วิธีนี้ใช้ได้ก็ต่อเมื่อข้อมูล สามารถแยกเชิงเส้นได้อย่างสมบูรณ์แบบ และไวต่อค่าผิดปกติมาก

ข้อมูลจริงมีสัญญาณรบกวนและแทบไม่สามารถแยกได้อย่างสมบูรณ์แบบ ค่าผิดปกติเพียงจุดเดียวอาจทำให้ไม่สามารถใช้ระยะขอบแบบเข้มงวดได้ หรือบังคับให้ระยะขอบบางอย่างผิดธรรมชาติ เราจึงต้องยอมให้เกิดข้อผิดพลาดได้บ้าง

SVM ที่ใช้ ระยะขอบแบบยืดหยุ่น ยอมให้บางจุดละเมิดระยะขอบหรือถูกจำแนกผิดได้ โดยแลกข้อผิดพลาดเล็กน้อยกับเส้นขอบเขตที่กว้างและทนทานกว่า การควบคุมนี้ใช้พารามิเตอร์ C

C กำหนดบทลงโทษสำหรับการละเมิด C ที่มีค่าสูง จะลงโทษข้อผิดพลาดอย่างหนัก ทำให้ได้ ระยะขอบที่เล็กลง ซึ่งพอดีกับข้อมูลฝึกอย่างมาก (เสี่ยงต่อการเรียนรู้มากเกินไป) ส่วน C ที่มีค่าต่ำ จะยอมให้มีความผ่อนคลายมากขึ้นและมีระยะขอบที่กว้างขึ้น (มีการปรับให้เป็นระเบียบมากขึ้น)

เลือกค่า C ด้วยการตรวจสอบไขว้ ค่าที่สูงเกินไปทำให้เรียนรู้มากเกินไป ส่วนค่าที่ต่ำเกินไปทำให้เรียนรู้น้อยเกินไป ค่าที่ดีที่สุดจะสร้างสมดุลระหว่างความกว้างของระยะขอบกับความแม่นยำบนข้อมูลฝึกสำหรับข้อมูลของคุณ

ทดสอบความเข้าใจทฤษฎี SVM

สรุป: SVM ค้นหา ไฮเปอร์เพลนที่มีระยะขอบสูงสุด เพื่อแยกคลาสออกจากกัน เวกเตอร์สนับสนุน คือจุดที่อยู่ใกล้ที่สุด และเป็นตัวกำหนดเส้นขอบเขตเพียงกลุ่มเดียว ระยะขอบแบบเข้มงวด ต้องการการแยกที่สมบูรณ์แบบ ส่วน ระยะขอบแบบยืดหยุ่น ยอมให้เกิดการละเมิดได้ โดยควบคุมด้วย C (C สูงขึ้น = ระยะขอบเล็กลง และมีการปรับให้เป็นระเบียบน้อยลง)