Oversikt over egenverdier og SVD

En egenvektor til en kvadratisk matrise A er en vektor v som ikke er null, og som oppfyller A @ v = lambda * v – multiplikasjon med A skalerer bare v; retningen endres ikke. Skalaren lambda kalles egenverdien som hører til v. Egenverdier viser de iboende «strekkfaktorene» til en lineær transformasjon: En egenverdi på 2 betyr at matrisen dobler lengdene i egenvektorens retning, mens en negativ egenverdi snur retningen.

np.linalg.eig(A) returnerer en tuppel med (eigenvalues, eigenvectors). Egenverdiene er en endimensjonal tabell, mens egenvektorene er en todimensjonal tabell der hver kolonne er en egenvektor. For reelle symmetriske matriser (som kovariansmatriser) er egenverdiene alltid reelle, og egenvektorene er ortogonale – bruk np.linalg.eigh(A) for symmetriske matriser, siden den er raskere og garantert å returnere reelle resultater.

Egenverdier inneholder viktige egenskaper ved matriser. Determinanten er lik produktet av alle egenverdiene: det(A) = product(eigenvalues). Sporet (summen av diagonalelementene) er lik summen av egenverdiene: trace(A) = sum(eigenvalues). En matrise er positivt definit (alle egenverdier > 0) bare når alle egenverdiene er positive – en avgjørende egenskap for gyldige kovariansmatriser og konvekse optimaliseringsproblemer.

Singulærverdidekomponering (SVD) dekomponerer enhver matrise A (ikke bare kvadratiske matriser) som A = U @ S @ V.T, der U og V er ortogonale matriser, og S er diagonal med ikke-negative singulærverdier på diagonalen. SVD er den mest generelle og numerisk stabile faktoriseringen av matriser. Den danner grunnlaget for PCA, bildekomprimering, anbefalingssystemer og beregning av pseudoinversen. np.linalg.svd(A) returnerer U, s (endimensjonale singulærverdier) og Vh (V transponert).

Singulærverdiene (diagonalen i S) er alltid ikke-negative og listes vanligvis i synkende rekkefølge. Antallet singulærverdier som ikke er null, er lik matrisens rang. Singulærverdier nær null indikerer nesten-lineær avhengighet mellom rader eller kolonner. Den største singulærverdien gir matrisens spektralnorm, og forholdet mellom den største og den minste ikke-null-singulærverdien er kondisjonstallet som brukes til å måle numerisk stabilitet.

Hovedkomponentanalyse (PCA) kan implementeres direkte ved hjelp av SVD. Når De har sentrert datamatrisen X (ved å trekke fra kolonnemidlene), er de høyre singulærvektorene i Vh hovedkomponentene, og kvadratet av singulærverdiene (delt på n-1) er den forklarte variansen. Sklearns PCA bruker nøyaktig denne fremgangsmåten. Når De forstår denne sammenhengen, kan De implementere eller tilpasse PCA fra grunnen av for dimensjonsreduksjon.

SVD muliggjør lavrangsapproksimering av matriser: behold bare de k største singulærverdiene og singulærvektorene, og rekonstruer en approksimasjon av den opprinnelige matrisen. Dette er grunnlaget for bildekomprimering og kollaborativ filtrering i anbefalingssystemer. Den trunkerte SVD-en U[:, :k] @ np.diag(s[:k]) @ Vh[:k, :] gir den beste approksimasjonen med rang k i minste-kvadraters forstand (Eckart-Young-teoremet).

Bruk egendekomponering (np.linalg.eig eller eigh) når De har en kvadratisk, symmetrisk matrise og vil forstå dens hovedakser – for eksempel kovariansmatrisen i PCA eller Markov-overgangsmatriser. Bruk SVD (np.linalg.svd) når matrisen er rektangulær, eller når De trenger maksimal numerisk stabilitet. SVD eksisterer alltid, mens egendekomponering kan gi komplekse tall for ikke-symmetriske matriser.

Spektralteoremet sier at enhver reell, symmetrisk matrise A kan dekomponeres som A = Q @ diag(eigenvalues) @ Q.T, der Q er ortogonal (Q.T = Q⁻¹). Dette betyr at symmetriske matriser alltid kan diagonaliseres med reelle egenverdier og ortogonale egenvektorer. Kovariansmatriser, kjernematriser i SVM-er og Hessian-matrisen i optimalisering er alle symmetriske, noe som gjør dette teoremet svært nyttig i teorien for maskinlæring.

Når De bare trenger den største egenverdien og den tilhørende egenvektoren, er potensiterasjon langt mer effektivt enn å beregne alle egenverdiene. Start med en tilfeldig vektor, multipliser gjentatte ganger med A og normaliser, så konvergerer metoden mot den dominerende egenvektoren. Slik fungerte Googles opprinnelige PageRank-algoritme. NumPy gjør hver iterasjon til én matrise-vektor-multiplikasjon med @.

I en reell datapipeline brukes SVD til støyreduksjon og datakomprimering. Når De har tilpasset SVD til treningsdataene, beholder De bare de k øverste komponentene som fanger opp 95 % av variansen. Dette reduserer dimensjonaliteten til nye data før de mates inn i en klassifikator eller regressor, noe som gjør treningen raskere og ofte forbedrer generaliseringen ved å fjerne støyende dimensjoner. Tilpass alltid SVD bare til treningsdataene, og bruk den samme transformasjonen på testdataene.

I denne leksjonen lærte De at np.linalg.eig()/eigh() beregner egenverdier og egenvektorer som viser en matrises iboende strekkretninger, at np.linalg.svd() dekomponerer enhver matrise i U, singulærverdier og Vh, noe som muliggjør PCA og lavrangsapproksimering, og at singulærverdier kvantifiserer variansen som hver komponent fanger opp, og bestemmer matrisens rang. Deretter skal vi se på håndtering av store datasett ved å strømme CSV-filer i biter.