Välj komponenter med scree-diagram

PCA kan ge er dussintals komponenter, men ni vill bara behålla de användbara. Den verkliga färdigheten är att välja how many som ska behållas.

Ett scree plot visar varje komponent mot den varians den förklarar, så att ni direkt kan se när betydelsen avtar.

Variansen minskar snabbt och övergår sedan i en platt svans. Böjen, som kallas elbow, visar var ytterligare komponenter slutar ge någon större nytta.

Anpassa PCA med alla komponenter och rita sedan explained_variance_ratio_ för att skapa kurvan och hitta den elbow.

Lägg ihop kvoterna efter hand för att få kumulativ varians, som visar den totala informationen som bevaras av de första k komponenterna.

En vanlig regel är att behålla tillräckligt många komponenter för att nå ett mål, till exempel att 95 procent av den totala variansen ska bevaras.

Ange en andel som n_components, så behåller scikit-learn precis tillräckligt många komponenter för att nå målet för förklarad varians.

En annan riktlinje är Kaiser-regeln, som behåller komponenter vars egenvärde överstiger ett. Det innebär att de förklarar mer än en enskild feature skulle göra.

Färre komponenter ger enklare och snabbare modeller, men innebär att mer information går förlorad. Att välja k är alltid en avvägning mellan storlek och återgivningstrogenhet.

Det bästa k är det som hjälper er med den verkliga uppgiften. Prova några värden och jämför modellernas resultat med korsvalidering.

Komponenter efter armbågen fångar ofta främst brus. Att behålla dem hjälper sällan och kan i tysthet försämra modellen.

Använd ett scree-diagram, en armbåge eller en tröskel för kumulativ varians för att behålla precis tillräckligt många komponenter, och validera sedan k längre fram. 🎯