Überblick über Eigenwerte und SVD

Ein Eigenvektor einer quadratischen Matrix A ist ein von null verschiedener Vektor v mit der Eigenschaft A @ v = lambda * v – die Multiplikation mit A skaliert v lediglich, ändert aber nicht seine Richtung. Der Skalar lambda wird als der zu v gehörende Eigenwert bezeichnet. Eigenwerte zeigen die intrinsischen „Streckfaktoren“ einer linearen Transformation: Ein Eigenwert von 2 bedeutet, dass die Matrix Längen in Richtung des Eigenvektors verdoppelt; ein negativer Eigenwert kehrt die Richtung um.

np.linalg.eig(A) gibt ein Tupel (eigenvalues, eigenvectors) zurück. Die Eigenwerte sind in einem 1-D-Array enthalten; die Eigenvektoren befinden sich in einem 2-D-Array, wobei jede Spalte einen Eigenvektor enthält. Bei reellen symmetrischen Matrizen (etwa Kovarianzmatrizen) sind die Eigenwerte immer reell und die Eigenvektoren orthogonal. Verwenden Sie für symmetrische Matrizen np.linalg.eigh(A), da diese Funktion schneller ist und garantiert reelle Ergebnisse liefert.

Eigenwerte enthalten wichtige Informationen über die Eigenschaften einer Matrix. Die Determinante entspricht dem Produkt aller Eigenwerte: det(A) = product(eigenvalues). Die Spur (die Summe der Diagonalelemente) entspricht der Summe der Eigenwerte: trace(A) = sum(eigenvalues). Eine Matrix ist genau dann positiv definit (alle Eigenwerte > 0), wenn alle Eigenwerte positiv sind – eine entscheidende Eigenschaft gültiger Kovarianzmatrizen und konvexer Optimierungsprobleme.

Die Singulärwertzerlegung (SVD) zerlegt jede Matrix A (nicht nur quadratische) in der Form A = U @ S @ V.T, wobei U und V orthogonale Matrizen sind und S eine Diagonalmatrix mit nichtnegativen Singulärwerten auf der Diagonale ist. Die SVD ist die allgemeinste und numerisch stabilste Matrixfaktorisierung. Sie bildet die Grundlage für PCA, Bildkompression, Empfehlungssysteme und die Berechnung der Pseudoinversen. np.linalg.svd(A) gibt U, s (die 1-D-Singulärwerte) und Vh (die transponierte Matrix V) zurück.

Die Singulärwerte (die Diagonalelemente von S) sind immer nichtnegativ und werden üblicherweise in absteigender Reihenfolge aufgeführt. Die Anzahl der von null verschiedenen Singulärwerte entspricht dem Rang der Matrix. Nahezu null große Singulärwerte weisen auf eine nahezu lineare Abhängigkeit zwischen Zeilen oder Spalten hin. Der größte Singulärwert entspricht der Spektralnorm der Matrix, und das Verhältnis zwischen dem größten und dem kleinsten von null verschiedenen Singulärwert ist die Konditionszahl zur Messung der numerischen Stabilität.

Die Hauptkomponentenanalyse (PCA) lässt sich direkt mithilfe der SVD implementieren. Nachdem Sie Ihre Datenmatrix X zentriert haben (indem Sie die Spaltenmittelwerte abziehen), sind die rechten Singulärvektoren in Vh die Hauptkomponenten, und die quadrierten Singulärwerte (geteilt durch n-1) sind die erklärten Varianzen. Sklearns PCA verwendet genau diesen Ansatz. Wenn Sie diesen Zusammenhang verstehen, können Sie PCA zur Dimensionsreduktion von Grund auf implementieren oder an Ihre Anforderungen anpassen.

Die SVD ermöglicht eine niedrigrangige Matrixapproximation: Behalten Sie nur die k größten Singulärwerte und -vektoren und rekonstruieren Sie daraus eine Approximation der ursprünglichen Matrix. Dies bildet die Grundlage für Bildkompression und kollaboratives Filtern bei Empfehlungen. Die abgeschnittene SVD U[:, :k] @ np.diag(s[:k]) @ Vh[:k, :] liefert im Sinne der kleinsten Quadrate die beste Approximation vom Rang k (Satz von Eckart und Young).

Verwenden Sie die Eigenzerlegung (np.linalg.eig oder eigh), wenn Sie eine quadratische symmetrische Matrix haben und ihre Hauptachsen verstehen möchten – beispielsweise die Kovarianzmatrix bei PCA oder Markov-Übergangsmatrizen. Verwenden Sie die SVD (np.linalg.svd), wenn Ihre Matrix rechteckig ist oder Sie maximale numerische Stabilität benötigen. Die SVD existiert immer; bei nichtsymmetrischen Matrizen kann die Eigenzerlegung komplexe Zahlen liefern.

Der Spektralsatz besagt, dass sich jede reelle symmetrische Matrix A in der Form A = Q @ diag(eigenvalues) @ Q.T zerlegen lässt, wobei Q orthogonal ist (Q.T = Q⁻¹). Das bedeutet, dass symmetrische Matrizen immer mit reellen Eigenwerten und orthogonalen Eigenvektoren diagonalisierbar sind. Kovarianzmatrizen, Kernelmatrizen in SVMs und die Hesse-Matrix bei der Optimierung sind allesamt symmetrisch, wodurch dieser Satz in der Theorie des Machine Learnings universell einsetzbar ist.

Wenn Sie nur den größten Eigenwert und seinen Eigenvektor benötigen, ist die Potenziteration wesentlich effizienter, als alle Eigenwerte zu berechnen. Beginnen Sie mit einem zufälligen Vektor, multiplizieren Sie ihn wiederholt mit A und normieren Sie ihn. So konvergiert er zum dominanten Eigenvektor. Auf diese Weise funktionierte auch Googles ursprünglicher PageRank-Algorithmus. Mit NumPy besteht jede Iteration aus einer einzigen Matrix-Vektor-Multiplikation mit @.

In einer realen Datenpipeline wird die SVD zur Rauschunterdrückung und Datenkompression eingesetzt. Nachdem Sie die SVD an den Trainingsdaten angepasst haben, behalten Sie nur die ersten k Komponenten bei, die 95 % der Varianz erfassen. Dadurch wird die Dimensionalität neuer Daten reduziert, bevor Sie sie einem Klassifikator oder Regressor zuführen. Das beschleunigt das Training und verbessert häufig die Generalisierbarkeit, da verrauschte Dimensionen entfernt werden. Passen Sie die SVD immer nur an den Trainingsdaten an und wenden Sie dieselbe Transformation auf die Testdaten an.

In dieser Lektion haben Sie gelernt: np.linalg.eig()/eigh() berechnen Eigenwerte und Eigenvektoren, die die intrinsischen Streckrichtungen einer Matrix sichtbar machen, np.linalg.svd() zerlegt jede Matrix in U, Singulärwerte und Vh und ermöglicht dadurch PCA sowie niederrangige Approximationen, und Singulärwerte quantifizieren die von jeder Komponente erfasste Varianz und bestimmen den Rang der Matrix. Als Nächstes beschäftigen wir uns mit der Verarbeitung großer Datensätze, indem wir CSV-Dateien blockweise einlesen.