Valeurs propres et présentation de la SVD

Un vecteur propre d'une matrice carrée A est un vecteur non nul v tel que A @ v = lambda * v — la multiplication par A ne fait que redimensionner v, sans modifier sa direction. Le scalaire lambda est appelé la valeur propre correspondant à v. Les valeurs propres révèlent les « facteurs d'étirement » intrinsèques d'une transformation linéaire : une valeur propre égale à 2 signifie que la matrice double les longueurs dans la direction du vecteur propre ; une valeur propre négative inverse la direction.

np.linalg.eig(A) renvoie un tuple (eigenvalues, eigenvectors). Les valeurs propres forment un tableau à 1 dimension ; les vecteurs propres forment un tableau à 2 dimensions dont chaque colonne est un vecteur propre. Pour les matrices symétriques réelles, comme les matrices de covariance, les valeurs propres sont toujours réelles et les vecteurs propres sont orthogonaux — utilisez np.linalg.eigh(A) pour les matrices symétriques, car cette fonction est plus rapide et garantit des résultats réels.

Les valeurs propres encodent des propriétés importantes des matrices. Le déterminant est égal au produit de toutes les valeurs propres : det(A) = product(eigenvalues). La trace (somme des éléments diagonaux) est égale à la somme des valeurs propres : trace(A) = sum(eigenvalues). Une matrice est définie positive (toutes ses valeurs propres sont > 0) si et seulement si toutes ses valeurs propres sont positives — une propriété essentielle pour les matrices de covariance valides et les problèmes d'optimisation convexe.

La décomposition en valeurs singulières (SVD) décompose toute matrice A, et pas seulement les matrices carrées, sous la forme A = U @ S @ V.T, où U et V sont des matrices orthogonales et S est une matrice diagonale dont la diagonale contient des valeurs singulières non négatives. La SVD est la factorisation matricielle la plus générale et la plus stable numériquement. Elle est à la base de la PCA, de la compression d'images, des systèmes de recommandation et du calcul de la pseudo-inverse. np.linalg.svd(A) renvoie U, s (les valeurs singulières à 1 dimension) et Vh (la transposée de V).

Les valeurs singulières (sur la diagonale de S) sont toujours non négatives et sont généralement présentées dans l'ordre décroissant. Le nombre de valeurs singulières non nulles est égal au rang de la matrice. Des valeurs singulières proches de zéro indiquent une quasi-dépendance linéaire entre les lignes ou les colonnes. La plus grande valeur singulière donne la norme spectrale de la matrice, et le rapport entre la plus grande valeur singulière et la plus petite valeur singulière non nulle est le nombre de conditionnement utilisé pour mesurer la stabilité numérique.

L'analyse en composantes principales (PCA) peut être implémentée directement à l'aide de la SVD. Après avoir centré votre matrice de données X (en soustrayant les moyennes des colonnes), les vecteurs singuliers droits de Vh sont les composantes principales, et les carrés des valeurs singulières (divisés par n-1) sont les variances expliquées. La PCA de Sklearn utilise exactement cette approche. Comprendre ce lien vous permet d'implémenter ou de personnaliser la PCA à partir de zéro pour réduire la dimensionnalité.

La SVD permet d'obtenir une approximation matricielle de faible rang : conservez uniquement les k plus grandes valeurs singulières et les vecteurs associés, puis reconstruisez une approximation de la matrice d'origine. C'est le principe de la compression d'images et du filtrage collaboratif utilisé pour les recommandations. La SVD tronquée U[:, :k] @ np.diag(s[:k]) @ Vh[:k, :] fournit la meilleure approximation de rang k au sens des moindres carrés (théorème d'Eckart-Young).

Utilisez la décomposition spectrale (np.linalg.eig ou eigh) lorsque vous avez une matrice carrée symétrique et que vous souhaitez comprendre ses axes principaux — par exemple, la matrice de covariance dans la PCA ou les matrices de transition de Markov. Utilisez la SVD (np.linalg.svd) lorsque votre matrice est rectangulaire ou lorsque vous avez besoin d'une stabilité numérique maximale. La SVD existe toujours ; la décomposition spectrale peut produire des nombres complexes pour les matrices non symétriques.

Le théorème spectral affirme que toute matrice symétrique réelle A peut être décomposée sous la forme A = Q @ diag(eigenvalues) @ Q.T, où Q est orthogonale (Q.T = Q⁻¹). Cela signifie que les matrices symétriques sont toujours diagonalisables, avec des valeurs propres réelles et des vecteurs propres orthogonaux. Les matrices de covariance, les matrices de noyau des SVM et la matrice hessienne en optimisation sont toutes symétriques, ce qui rend ce théorème particulièrement utile en théorie de l'apprentissage automatique.

Lorsque vous n'avez besoin que de la plus grande valeur propre et de son vecteur propre, l'itération de puissance est bien plus efficace que le calcul de toutes les valeurs propres. Commencez par un vecteur aléatoire, multipliez-le à plusieurs reprises par A et normalisez-le : il converge vers le vecteur propre dominant. C'est ainsi que fonctionnait l'algorithme PageRank original de Google. NumPy réduit chaque itération à une seule multiplication matrice-vecteur avec @.

Dans un pipeline de données réel, la SVD est utilisée pour la réduction du bruit et la compression des données. Après avoir ajusté la SVD sur les données d'entraînement, vous ne conservez que les k premières composantes qui représentent 95 % de la variance. Cela réduit la dimensionnalité des nouvelles données avant de les transmettre à un classificateur ou à un modèle de régression, accélère l'entraînement et améliore souvent la capacité de généralisation en supprimant les dimensions bruitées. Ajustez toujours la SVD uniquement sur les données d'entraînement et appliquez la même transformation aux données de test.

Testez votre compréhension des concepts d'analyse de données présentés dans cette leçon.

Dans cette leçon, vous avez appris que np.linalg.eig()/eigh() calculent les valeurs propres et les vecteurs propres qui révèlent les directions d'étirement intrinsèques d'une matrice, que np.linalg.svd() décompose toute matrice en U, valeurs singulières et Vh, ce qui permet la PCA et l'approximation de faible rang, et que les valeurs singulières quantifient la variance capturée par chaque composante et déterminent le rang de la matrice. Nous allons maintenant voir comment traiter de grands jeux de données en lisant les fichiers CSV par blocs.