ปรับสเกลก่อน แล้วจึงปรับ PCA

PCA มุ่งหาความแปรปรวนที่มากที่สุด แต่ความแปรปรวนขึ้นอยู่กับหน่วย คุณลักษณะที่มีตัวเลขขนาดใหญ่อาจครอบงำผลลัพธ์เพียงเพราะมาตราส่วนของมัน

ลองนึกถึงเงินเดือนที่เป็นดอลลาร์วางคู่กับอายุที่เป็นปี เงินเดือนเปลี่ยนแปลงเป็นหลักพัน ดังนั้น PCA จะมองว่าสำคัญกว่ามากอย่างไม่เป็นธรรม

วิธีแก้คือการทำให้เป็นมาตรฐาน: ปรับมาตราส่วนของทุกคุณลักษณะให้มีค่าเฉลี่ยเป็นศูนย์และมีความแปรปรวนเป็นหนึ่ง เพื่อให้ทุกคุณลักษณะเริ่มต้นอย่างเท่าเทียมกัน

ใน scikit-learn StandardScaler จะจัดข้อมูลให้อยู่กึ่งกลางและปรับมาตราส่วนของคอลัมน์ก่อนที่ PCA จะนำไปใช้

เรียกใช้ PCA กับข้อมูลที่ปรับมาตราส่วนแล้ว ไม่ใช่ข้อมูลดิบ ตอนนี้แต่ละองค์ประกอบจะสะท้อนโครงสร้างจริง ไม่ใช่หน่วยที่มีสัดส่วนไม่สมดุล

PCA สมมติว่าข้อมูลมีจุดกึ่งกลางอยู่ที่ศูนย์ การทำให้เป็นมาตรฐานจัดการเรื่องนี้ด้วยการลบค่าเฉลี่ยของแต่ละคอลัมน์ ทำให้แกนต่าง ๆ ผ่านจุดศูนย์กลางของข้อมูล

ครอบตัวปรับมาตราส่วนและ PCA ไว้ใน ไปป์ไลน์ เพื่อให้การปรับมาตราส่วนเกิดขึ้นก่อนเสมอ และไม่รั่วไหลข้ามการแบ่งข้อมูล

ฝึกตัวปรับมาตราส่วนด้วยข้อมูลฝึก จากนั้นนำกลับมาใช้กับข้อมูลทดสอบ การฝึกด้วยข้อมูลทั้งหมดทำให้ข้อมูลรั่วไหลและทำให้คะแนนสูงเกินจริง

หากทุกคุณลักษณะใช้หน่วยและช่วงเดียวกันอยู่แล้ว การปรับมาตราส่วนจะสำคัญน้อยลง หากไม่แน่ใจ ให้ทำให้เป็นมาตรฐานไว้ก่อน เพราะแทบไม่ก่อให้เกิดผลเสีย

เรียกใช้ PCA กับข้อมูลที่มีหน่วยผสมทั้งแบบปรับมาตราส่วนและไม่ปรับ คุณจะเห็นว่าความแปรปรวนที่อธิบายได้และองค์ประกอบอันดับต้น ๆ แตกต่างกันอย่างชัดเจน

หากมีค่าผิดปกติรุนแรง ให้พิจารณาใช้ RobustScaler ซึ่งใช้ค่ามัธยฐานและควอร์ไทล์ ทำให้จุดที่สุดขั้วมีอิทธิพลต่อ PCA น้อยลง

มีขั้นตอนหนึ่งที่มักอยู่ก่อน PCA แทบทุกครั้ง

PCA ไวต่อมาตราส่วน ดังนั้นควรทำให้เป็นมาตรฐานก่อน ฝึกด้วยข้อมูลฝึกเท่านั้น และใช้ไปป์ไลน์เพื่อรักษาลำดับขั้นตอนให้ปลอดภัย 🎯