Panoramica su autovalori e SVD

Un autovettore di una matrice quadrata A è un vettore non nullo v tale che A @ v = lambda * v: la moltiplicazione per A scala soltanto v, senza modificarne la direzione. Lo scalare lambda è detto autovalore corrispondente a v. Gli autovalori rivelano i «fattori di dilatazione» intrinseci di una trasformazione lineare: un autovalore pari a 2 significa che la matrice raddoppia le lunghezze nella direzione dell'autovettore; un autovalore negativo inverte la direzione.

np.linalg.eig(A) restituisce una tupla (eigenvalues, eigenvectors). Gli autovalori sono un array 1D; gli autovettori sono un array 2D in cui ogni colonna è un autovettore. Per le matrici simmetriche reali, come le matrici di covarianza, gli autovalori sono sempre reali e gli autovettori sono ortogonali: utilizzi np.linalg.eigh(A) per le matrici simmetriche, poiché è più veloce e garantisce risultati reali.

Gli autovalori codificano importanti proprietà delle matrici. Il determinante è uguale al prodotto di tutti gli autovalori: det(A) = product(eigenvalues). La traccia (la somma degli elementi diagonali) è uguale alla somma degli autovalori: trace(A) = sum(eigenvalues). Una matrice è definita positiva (tutti gli autovalori > 0) se e solo se tutti gli autovalori sono positivi: una proprietà fondamentale per le matrici di covarianza valide e per i problemi di ottimizzazione convessa.

La decomposizione ai valori singolari (SVD) scompone qualsiasi matrice A, non solo quelle quadrate, come A = U @ S @ V.T, dove U e V sono matrici ortogonali e S è diagonale, con valori singolari non negativi sulla diagonale. La SVD è la fattorizzazione di matrici più generale e numericamente stabile. È alla base della PCA, della compressione delle immagini, dei sistemi di raccomandazione e del calcolo della pseudoinversa. np.linalg.svd(A) restituisce U, s (i valori singolari in un array 1D) e Vh (la trasposta di V).

I valori singolari (sulla diagonale di S) sono sempre non negativi e, per convenzione, sono elencati in ordine decrescente. Il numero di valori singolari non nulli è uguale al rango della matrice. Valori singolari prossimi a zero indicano una quasi dipendenza lineare tra righe o colonne. Il valore singolare più grande fornisce la norma spettrale della matrice, mentre il rapporto tra il valore più grande e il più piccolo valore singolare non nullo è il numero di condizionamento utilizzato per misurare la stabilità numerica.

L'analisi delle componenti principali (PCA) può essere implementata direttamente tramite la SVD. Dopo aver centrato la matrice dei dati X (sottraendo le medie delle colonne), i vettori singolari destri in Vh sono le componenti principali e i quadrati dei valori singolari, divisi per n-1, sono le varianze spiegate. La PCA di Sklearn utilizza esattamente questo approccio. Comprendere questo collegamento consente di implementare o personalizzare la PCA da zero per la riduzione della dimensionalità.

La SVD consente l'approssimazione a basso rango di una matrice: mantenga soltanto i k valori e vettori singolari principali e ricostruisca un'approssimazione della matrice originale. Questo costituisce la base della compressione delle immagini e del collaborative filtering per i sistemi di raccomandazione. La SVD troncata U[:, :k] @ np.diag(s[:k]) @ Vh[:k, :] fornisce la migliore approssimazione di rango k nel senso dei minimi quadrati (teorema di Eckart-Young).

Utilizzi la decomposizione spettrale (np.linalg.eig o eigh) quando dispone di una matrice quadrata e simmetrica e desidera comprenderne gli assi principali, ad esempio per la matrice di covarianza nella PCA o per le matrici di transizione di Markov. Utilizzi la SVD (np.linalg.svd) quando la matrice è rettangolare o quando ha bisogno della massima stabilità numerica. La SVD esiste sempre; la decomposizione spettrale può produrre numeri complessi per le matrici non simmetriche.

Il teorema spettrale afferma che ogni matrice simmetrica reale A può essere decomposta come A = Q @ diag(eigenvalues) @ Q.T, dove Q è ortogonale (Q.T = Q⁻¹). Ciò significa che le matrici simmetriche sono sempre diagonalizzabili, con autovalori reali e autovettori ortogonali. Le matrici di covarianza, le matrici kernel nelle SVM e la matrice hessiana nell'ottimizzazione sono tutte simmetriche, rendendo questo teorema universalmente utile nella teoria del machine learning.

Quando ha bisogno soltanto del massimo autovalore e del relativo autovettore, l'iterazione delle potenze è molto più efficiente del calcolo di tutti gli autovalori. Inizi con un vettore casuale, lo moltiplichi ripetutamente per A e lo normalizzi: il procedimento converge verso l'autovettore dominante. È così che funzionava l'algoritmo PageRank originale di Google. NumPy rende ogni iterazione una singola moltiplicazione matrice-vettore con @.

In un vero flusso di lavoro sui dati, la SVD viene utilizzata per la riduzione del rumore e la compressione dei dati. Dopo aver adattato la SVD ai dati di addestramento, mantenga soltanto le k componenti principali che catturano il 95% della varianza. In questo modo riduce la dimensionalità dei nuovi dati prima di passarli a un classificatore o a un regressore, velocizzando l'addestramento e migliorando spesso la capacità di generalizzazione grazie alla rimozione delle dimensioni rumorose. Adatti sempre la SVD esclusivamente ai dati di addestramento e applichi la stessa trasformazione ai dati di test.

Verifichi la sua comprensione dei concetti di analisi dei dati trattati in questa lezione.

In questa lezione ha imparato che: np.linalg.eig()/eigh() calcolano autovalori e autovettori che rivelano le direzioni di dilatazione intrinseche di una matrice, np.linalg.svd() scompone qualsiasi matrice in U, valori singolari e Vh, consentendo la PCA e l'approssimazione a basso rango, e i valori singolari quantificano la varianza catturata da ciascuna componente e determinano il rango della matrice. Ora affronteremo la gestione di grandi dataset eseguendo lo streaming di file CSV in blocchi.