Visão geral de autovalores e SVD

Um autovetor de uma matriz quadrada A é um vetor não nulo v tal que A @ v = lambda * v — multiplicar por A apenas redimensiona v; não altera sua direção. O escalar lambda é chamado de autovalor correspondente a v. Os autovalores revelam os “fatores de alongamento” intrínsecos de uma transformação linear: um autovalor igual a 2 significa que a matriz duplica os comprimentos na direção do autovetor; um autovalor negativo inverte a direção.

np.linalg.eig(A) retorna uma tupla (eigenvalues, eigenvectors). Os autovalores são um vetor 1-D; os autovetores são uma matriz 2-D em que cada coluna é um autovetor. Para matrizes simétricas reais, como matrizes de covariância, os autovalores são sempre reais e os autovetores são ortogonais — use np.linalg.eigh(A) para matrizes simétricas, pois essa função é mais rápida e garante resultados reais.

Os autovalores codificam propriedades importantes das matrizes. O determinante é igual ao produto de todos os autovalores: det(A) = product(eigenvalues). O traço (soma dos elementos diagonais) é igual à soma dos autovalores: trace(A) = sum(eigenvalues). Uma matriz é positiva definida (todos os autovalores > 0) somente se todos os autovalores forem positivos — uma propriedade essencial para matrizes de covariância válidas e problemas de otimização convexa.

A decomposição em valores singulares (SVD) decompõe qualquer matriz A, e não apenas matrizes quadradas, como A = U @ S @ V.T, em que U e V são matrizes ortogonais e S é diagonal, com valores singulares não negativos na diagonal. O SVD é a fatoração de matrizes mais geral e numericamente estável. Ele fundamenta o PCA, a compressão de imagens, os sistemas de recomendação e o cálculo da pseudoinversa. np.linalg.svd(A) retorna U, s (valores singulares 1-D) e Vh (V transposta).

Os valores singulares (a diagonal de S) são sempre não negativos e, por convenção, são listados em ordem decrescente. A quantidade de valores singulares não nulos é igual ao posto da matriz. Valores singulares próximos de zero indicam quase dependência linear entre linhas ou colunas. O maior valor singular fornece a norma espectral da matriz, e a razão entre o maior e o menor valor singular não nulo é o número de condição usado para medir a estabilidade numérica.

A análise de componentes principais (PCA) pode ser implementada diretamente por meio do SVD. Depois de centralizar sua matriz de dados X (subtraindo as médias das colunas), os vetores singulares à direita em Vh são os componentes principais, e os quadrados dos valores singulares (divididos por n-1) são as variâncias explicadas. O PCA do Sklearn usa exatamente essa abordagem. Compreender essa conexão permite implementar ou personalizar o PCA do zero para redução de dimensionalidade.

O SVD permite a aproximação de matrizes de baixo posto: mantenha apenas os k maiores valores singulares e seus vetores e reconstrua uma aproximação da matriz original. Essa é a base da compressão de imagens e da filtragem colaborativa para recomendações. O SVD truncado U[:, :k] @ np.diag(s[:k]) @ Vh[:k, :] fornece a melhor aproximação de posto k no sentido dos mínimos quadrados (teorema de Eckart-Young).

Use a decomposição espectral (np.linalg.eig ou eigh) quando tiver uma matriz quadrada e simétrica e quiser compreender seus eixos principais — por exemplo, a matriz de covariância no PCA ou matrizes de transição de Markov. Use o SVD (np.linalg.svd) quando sua matriz for retangular ou quando precisar de máxima estabilidade numérica. O SVD sempre existe; a decomposição espectral pode produzir números complexos para matrizes não simétricas.

O teorema espectral afirma que toda matriz simétrica real A pode ser decomposta como A = Q @ diag(eigenvalues) @ Q.T, em que Q é ortogonal (Q.T = Q⁻¹). Isso significa que matrizes simétricas sempre podem ser diagonalizadas com autovalores reais e autovetores ortogonais. Matrizes de covariância, matrizes de núcleo em SVMs e a matriz Hessiana em otimização são todas simétricas, o que torna esse teorema universalmente útil na teoria do aprendizado de máquina.

Quando você precisa apenas do maior autovalor e de seu autovetor, a iteração de potência é muito mais eficiente do que calcular todos os autovalores. Comece com um vetor aleatório, multiplique-o repetidamente por A e normalize-o; ele convergirá para o autovetor dominante. Foi assim que funcionou o algoritmo PageRank original do Google. O NumPy transforma cada iteração em uma única multiplicação de matriz por vetor com @.

Em um fluxo de dados real, o SVD é usado para redução de ruído e compressão de dados. Depois de ajustar o SVD aos dados de treinamento, mantenha apenas os k componentes principais que capturam 95% da variância. Isso reduz a dimensionalidade dos novos dados antes de fornecê-los a um classificador ou regressor, acelerando o treinamento e frequentemente melhorando a generalização ao remover dimensões ruidosas. Ajuste sempre o SVD apenas aos dados de treinamento e aplique a mesma transformação aos dados de teste.

Nesta lição, você aprendeu que np.linalg.eig()/eigh() calcula autovalores e autovetores que revelam as direções intrínsecas de alongamento de uma matriz, que np.linalg.svd() decompõe qualquer matriz em U, valores singulares e Vh, possibilitando o PCA e a aproximação de baixo posto, e que os valores singulares quantificam a variância capturada por cada componente e determinam o posto da matriz. A seguir, veremos como lidar com grandes conjuntos de dados transmitindo arquivos CSV em blocos.