ปรับความแรงของการทำให้เป็นปกติ

เมื่อมีคุณลักษณะของคำหลายพันรายการ โมเดลอาจจดจำลักษณะเฉพาะของชุดข้อมูลฝึกได้การทำให้เป็นระเบียบช่วยป้องกันไม่ให้โมเดลไล่ตามสัญญาณรบกวนนั้น 🧯

การทำให้เป็นระเบียบเพิ่มบทลงโทษสำหรับค่าสัมประสิทธิ์ขนาดใหญ่ โมเดลต้องมีเหตุผลรองรับน้ำหนักขนาดใหญ่ทุกค่า จึงยังคงเรียบง่ายและนำไปใช้กับข้อมูลใหม่ได้ดีขึ้น

ใน scikit-learn คุณควบคุมความแรงด้วย C ซึ่งเป็นค่าผกผันของการทำให้เป็นมาตรฐาน ดังนั้น C ที่เล็กลงจึงหมายถึงบทลงโทษที่แรงขึ้น

C ที่เล็กมากจะบีบน้ำหนักให้เข้าใกล้ศูนย์อย่างมาก โมเดลจึงเรียบง่ายมาก ซึ่งอาจทำให้เรียนรู้ไม่พอและพลาดสัญญาณที่มีอยู่จริง

C ที่ใหญ่จะลดความแรงของบทลงโทษและเปิดให้น้ำหนักเพิ่มขึ้น โมเดลจะเข้ากับข้อมูลฝึกได้ใกล้ชิด แต่มีความเสี่ยงที่จะเรียนรู้ข้อมูลมากเกินไป

บทลงโทษแบบ L2 ซึ่งเป็นค่าเริ่มต้น จะค่อย ๆ บีบน้ำหนักทั้งหมดให้เล็กลง นับเป็นจุดเริ่มต้นที่ปลอดภัยสำหรับปัญหาการจำแนกข้อความส่วนใหญ่

การเปลี่ยนไปใช้บทลงโทษแบบ L1 จะทำให้ค่าสัมประสิทธิ์จำนวนมากเป็นศูนย์ ซึ่งเป็นการเลือกคุณลักษณะและทำให้ได้โมเดลที่เบาบางและเรียบง่ายขึ้น

อย่าเดาค่า C เอง ให้ใช้ การตรวจสอบไขว้ เพื่อทดสอบหลายค่า แล้วเลือกค่าที่ได้คะแนนดีที่สุดจากชุดย่อยที่กันไว้มาตรวจสอบ

GridSearchCV จะลองค่า C แต่ละค่า ทำการตรวจสอบไขว้ และรายงานค่าที่ชนะ ลองไล่ค่า C ตามเลขยกกำลังสิบเพื่อเริ่มต้นค้นหาอย่างรวดเร็ว

หลังจากฝึกโมเดลแล้ว best_params_ จะแสดงค่า C ที่ชนะ โมเดลที่ตรงกับค่านี้ก็พร้อมสำหรับการประเมินอย่างเป็นกลางด้วยชุดทดสอบของคุณ

เป้าหมายคือความสมดุล: มีอิสระมากพอให้เรียนรู้ และมีบทลงโทษมากพอให้ใช้กับข้อมูลใหม่ได้ดี จุดสมดุลนี้จะให้คะแนนดีที่สุดกับข้อความที่ไม่เคยเห็นมาก่อน

การทำให้เป็นมาตรฐานช่วยต่อสู้กับการเรียนรู้ข้อมูลมากเกินไป และ C จะกำหนดความแรงของมันในทิศทางผกผัน ปรับค่า C ด้วยการตรวจสอบไขว้เพื่อหาจุดสมดุลที่เหมาะสมที่สุด ✅