เลือกองค์ประกอบด้วยกราฟ Scree

PCA อาจมอบองค์ประกอบให้คุณหลายสิบตัว แต่คุณต้องการเก็บไว้เฉพาะไม่กี่ตัวที่มีประโยชน์ ทักษะสำคัญคือการเลือกจำนวนที่จะเก็บ

กราฟสกรีแสดงองค์ประกอบแต่ละตัวเทียบกับความแปรปรวนที่อธิบายได้ ทำให้คุณเห็นความสำคัญที่ลดลงได้อย่างรวดเร็ว

ความแปรปรวนจะลดลงอย่างรวดเร็วแล้วค่อย ๆ ราบเป็นหางยาว จุดโค้งที่เรียกว่าจุดศอกจะบอกตำแหน่งที่การเพิ่มองค์ประกอบไม่คุ้มค่าอีกต่อไป

ฝึก PCA ด้วยองค์ประกอบทั้งหมด จากนั้นวาดกราฟ explained_variance_ratio_ เพื่อสร้างเส้นโค้งและหาจุดศอกนั้น

บวกอัตราส่วนสะสมไปเรื่อย ๆ เพื่อหาค่า ความแปรปรวนสะสม ซึ่งแสดงปริมาณข้อมูลทั้งหมดที่องค์ประกอบ k แรกยังคงเก็บไว้

กฎทั่วไปคือเลือกองค์ประกอบให้มากพอที่จะบรรลุเป้าหมาย เช่น เก็บ ความแปรปรวน ทั้งหมดไว้ได้ 95 เปอร์เซ็นต์

ส่งสัดส่วนเป็นค่า n_components แล้ว scikit-learn จะเก็บองค์ประกอบให้มากพอที่จะถึงเป้าหมายความแปรปรวนที่อธิบายได้

แนวทางอีกแบบคือ กฎ Kaiser ซึ่งเก็บองค์ประกอบที่มีค่าเอกลักษณ์มากกว่าหนึ่ง หมายความว่าองค์ประกอบนั้นอธิบายข้อมูลได้มากกว่าคุณลักษณะเพียงหนึ่งรายการ

องค์ประกอบที่น้อยลงทำให้แบบจำลองเรียบง่ายและทำงานเร็วขึ้น แต่รายละเอียดจะสูญหายมากขึ้น การเลือก k จึงเป็น ข้อแลกเปลี่ยน ระหว่างขนาดกับความเที่ยงตรงเสมอ

ค่า k ที่ดีที่สุดคือค่าที่ช่วยงานจริงของคุณได้มากที่สุด ลองใช้หลายค่าแล้วเปรียบเทียบคะแนนแบบจำลองด้วย การตรวจสอบไขว้

องค์ประกอบที่อยู่ถัดจากจุดศอกมักเก็บสัญญาณรบกวนไว้เป็นส่วนใหญ่ การเก็บองค์ประกอบเหล่านี้แทบไม่ช่วย และอาจ ทำให้แบบจำลองของคุณแย่ลงโดยไม่รู้ตัว

ใช้ กราฟ scree จุดศอก หรือเกณฑ์ความแปรปรวนสะสม เพื่อเก็บองค์ประกอบไว้เท่าที่จำเป็น จากนั้นตรวจสอบค่า k กับงานปลายทาง 🎯