Komponenten mit Scree-Plots auswählen

PCA kann Ihnen Dutzende Komponenten liefern, aber Sie benötigen nur die wenigen nützlichen. Die eigentliche Herausforderung besteht darin, zu entscheiden, wie viele Sie behalten.

Ein Scree-Plot stellt jede Komponente der von ihr erklärten Varianz gegenüber. So sehen Sie auf einen Blick, wie die Bedeutung abnimmt.

Die Varianz fällt zunächst schnell und geht dann in einen flachen Ausläufer über. Die als Ellbogen bezeichnete Biegung zeigt, ab wann zusätzliche Komponenten keinen nennenswerten Nutzen mehr bringen.

Trainieren Sie PCA mit allen Komponenten und stellen Sie anschließend explained_variance_ratio_ dar, um die Kurve zu zeichnen und den Ellbogen zu erkennen.

Addieren Sie die Anteile nach und nach, um die kumulative Varianz zu erhalten. Sie zeigt, wie viele Informationen die ersten k Komponenten insgesamt bewahren.

Eine gängige Regel ist, so viele Komponenten zu behalten, dass ein Zielwert erreicht wird, etwa 95 Prozent der gesamten beibehaltenen Varianz.

Übergeben Sie einen Anteil als n_components, und scikit-learn behält gerade so viele Komponenten, dass der Zielwert für die erklärte Varianz erreicht wird.

Eine weitere Orientierung ist die Kaiser-Regel. Sie behält Komponenten mit einem Eigenwert größer als eins, da diese mehr erklären als ein einzelnes Feature.

Weniger Komponenten bedeuten einfachere und schnellere Modelle, aber auch mehr Detailverlust. Die Wahl von k ist immer ein Kompromiss zwischen Größe und Genauigkeit.

Das beste k ist der Wert, der Ihre eigentliche Aufgabe unterstützt. Probieren Sie mehrere Werte aus und vergleichen Sie die Modellbewertungen mithilfe der Kreuzvalidierung.

Komponenten hinter dem Ellbogen erfassen häufig hauptsächlich Rauschen. Sie zu behalten hilft selten und kann Ihr Modell unbemerkt verschlechtern.

Verwenden Sie einen Scree-Plot, den Ellbogen oder einen Schwellenwert für die kumulative Varianz, um gerade genug Komponenten zu behalten, und validieren Sie k anschließend im nachgelagerten Modell. 🎯