Introducción a valores propios y SVD

Un vector propio de una matriz cuadrada A es un vector no nulo v tal que A @ v = lambda * v: multiplicarlo por A solo escala v, pero no cambia su dirección. El escalar lambda se denomina valor propio correspondiente a v. Los valores propios revelan los «factores de estiramiento» intrínsecos de una transformación lineal: un valor propio de 2 significa que la matriz duplica las longitudes en la dirección del vector propio; un valor propio negativo invierte la dirección.

np.linalg.eig(A) devuelve una tupla (eigenvalues, eigenvectors). Los valores propios son un array unidimensional; los vectores propios son un array bidimensional en el que cada columna es un vector propio. En el caso de matrices simétricas reales, como las matrices de covarianza, los valores propios siempre son reales y los vectores propios son ortogonales. Use np.linalg.eigh(A) para matrices simétricas, ya que es más rápido y garantiza resultados reales.

Los valores propios codifican propiedades importantes de las matrices. El determinante es igual al producto de todos los valores propios: det(A) = product(eigenvalues). La traza (la suma de los elementos de la diagonal) es igual a la suma de los valores propios: trace(A) = sum(eigenvalues). Una matriz es definida positiva (todos sus valores propios son > 0) únicamente si todos los valores propios son positivos; esta es una propiedad crucial para las matrices de covarianza válidas y los problemas de optimización convexa.

La descomposición en valores singulares (SVD) descompone cualquier matriz A, no solo las cuadradas, como A = U @ S @ V.T, donde U y V son matrices ortogonales y S es diagonal, con valores singulares no negativos en la diagonal. La SVD es la factorización matricial más general y numéricamente estable. Es fundamental para PCA, la compresión de imágenes, los sistemas de recomendación y el cálculo de la pseudoinversa. np.linalg.svd(A) devuelve U, s (los valores singulares en un array unidimensional) y Vh (V transpuesta).

Los valores singulares (la diagonal de S) siempre son no negativos y, por convención, se enumeran en orden descendente. El número de valores singulares distintos de cero es igual al rango de la matriz. Los valores singulares cercanos a cero indican una dependencia casi lineal entre las filas o columnas. El mayor valor singular proporciona la norma espectral de la matriz, y el cociente entre el mayor y el menor valor singular distinto de cero es el número de condición utilizado para medir la estabilidad numérica.

El análisis de componentes principales (PCA) se puede implementar directamente mediante SVD. Después de centrar la matriz de datos X (restando las medias de las columnas), los vectores singulares derechos de Vh son los componentes principales, y los valores singulares al cuadrado, divididos por n-1, son las varianzas explicadas. El PCA de Sklearn utiliza exactamente este enfoque. Comprender esta conexión le permite implementar o personalizar PCA desde cero para reducir la dimensionalidad.

La SVD permite realizar una aproximación matricial de bajo rango: conserve solo los k valores singulares y vectores principales, y reconstruya una aproximación de la matriz original. Esta técnica es la base de la compresión de imágenes y del filtrado colaborativo para recomendaciones. La SVD truncada U[:, :k] @ np.diag(s[:k]) @ Vh[:k, :] proporciona la mejor aproximación de rango k en el sentido de mínimos cuadrados (teorema de Eckart-Young).

Use la descomposición propia (np.linalg.eig o eigh) cuando tenga una matriz cuadrada y simétrica y quiera comprender sus ejes principales; por ejemplo, la matriz de covarianza en PCA o las matrices de transición de Markov. Use la SVD (np.linalg.svd) cuando su matriz sea rectangular o necesite la máxima estabilidad numérica. La SVD siempre existe; la descomposición propia puede producir números complejos en matrices no simétricas.

El teorema espectral establece que toda matriz simétrica real A puede descomponerse como A = Q @ diag(eigenvalues) @ Q.T, donde Q es ortogonal (Q.T = Q⁻¹). Esto significa que las matrices simétricas siempre se pueden diagonalizar con valores propios reales y vectores propios ortogonales. Las matrices de covarianza, las matrices de kernel en las SVM y la matriz hessiana en optimización son todas simétricas, por lo que este teorema resulta de utilidad general en la teoría del aprendizaje automático.

Cuando solo necesite el mayor valor propio y su vector propio, la iteración de potencias es mucho más eficiente que calcular todos los valores propios. Comience con un vector aleatorio, multiplíquelo repetidamente por A y normalícelo; el proceso converge al vector propio dominante. Así funcionaba el algoritmo PageRank original de Google. NumPy hace que cada iteración consista en una sola multiplicación de matriz por vector con @.

En una canalización de datos real, la SVD se utiliza para la reducción del ruido y la compresión de datos. Después de ajustar la SVD con los datos de entrenamiento, conserve solo los k componentes principales que capturen el 95 % de la varianza. Esto reduce la dimensionalidad de los datos nuevos antes de introducirlos en un clasificador o regresor, acelera el entrenamiento y a menudo mejora la generalización al eliminar dimensiones ruidosas. Ajuste siempre la SVD únicamente con los datos de entrenamiento y aplique la misma transformación a los datos de prueba.

En esta lección ha aprendido que np.linalg.eig()/eigh() calculan valores y vectores propios que revelan las direcciones de estiramiento intrínsecas de una matriz, np.linalg.svd() descompone cualquier matriz en U, valores singulares y Vh, lo que permite realizar PCA y aproximaciones de bajo rango, y los valores singulares cuantifican la varianza capturada por cada componente y determinan el rango de la matriz. A continuación, abordaremos el manejo de grandes conjuntos de datos mediante la lectura de archivos CSV en fragmentos.