Ominaisarvot ja SVD:n yleiskatsaus

Neliömatriisin A ominaisvektori on nollasta poikkeava vektori v, jolle pätee A @ v = lambda * v — kertominen matriisilla A muuttaa vain v:n mittakaavaa, ei sen suuntaa. Skalaaria lambda kutsutaan v:tä vastaavaksi ominaisarvoksi. Ominaisarvot paljastavat lineaarisen muunnoksen luontaiset ”venytyskertoimet”: ominaisarvo 2 tarkoittaa, että matriisi kaksinkertaistaa pituudet ominaisvektorin suunnassa; negatiivinen ominaisarvo kääntää suunnan.

np.linalg.eig(A) palauttaa tuplen (eigenvalues, eigenvectors). Ominaisarvot ovat yksiulotteinen taulukko ja ominaisvektorit ovat kaksiulotteinen taulukko, jossa kukin sarake on ominaisvektori. Reaalisymmetrisillä matriiseilla, kuten kovarianssimatriiseilla, ominaisarvot ovat aina reaalisia ja ominaisvektorit ortogonaalisia — käyttäkää symmetrisille matriiseille komentoa np.linalg.eigh(A), sillä se on nopeampi ja palauttaa varmasti reaaliset tulokset.

Ominaisarvot sisältävät tärkeitä tietoja matriisin ominaisuuksista. Determinantti on kaikkien ominaisarvojen tulo: det(A) = product(eigenvalues). Jälki (lävistäjäalkioiden summa) on ominaisarvojen summa: trace(A) = sum(eigenvalues). Matriisi on positiivisesti definiitti (kaikki ominaisarvot > 0) vain, jos kaikki ominaisarvot ovat positiivisia — tämä on tärkeä ominaisuus kelvollisille kovarianssimatriiseille ja konvekseille optimointiongelmille.

Singulaariarvohajotelma (SVD) hajottaa minkä tahansa matriisin A:n, ei vain neliömatriiseja, muotoon A = U @ S @ V.T, jossa U ja V ovat ortogonaalisia matriiseja ja S on diagonaalimatriisi, jonka lävistäjällä ovat epänegatiiviset singulaariarvot. SVD on yleisin ja numeerisesti vakain matriisihajotelma. Se muodostaa PCA:n, kuvien pakkauksen, suosittelujärjestelmien ja pseudokäänteismatriisin laskennan perustan. np.linalg.svd(A) palauttaa U:n, s:n (yksiulotteiset singulaariarvot) ja Vh:n (transpoosatun V:n).

Singulaariarvot (S:n lävistäjäalkiot) ovat aina epänegatiivisia, ja ne luetellaan yleensä laskevassa järjestyksessä. Nollasta poikkeavien singulaariarvojen lukumäärä on matriisin aste. Lähes nollan suuruiset singulaariarvot osoittavat, että rivit tai sarakkeet ovat lähes lineaarisesti riippuvia. Suurin singulaariarvo antaa matriisin spektrinormin, ja suurimman sekä pienimmän nollasta poikkeavan singulaariarvon suhde on numeerista vakautta mittaava kuntoluku.

Pääkomponenttianalyysi (PCA) voidaan toteuttaa suoraan SVD:n avulla. Kun keskitätte datamatriisin X:n (vähennätte sarakkeiden keskiarvot), Vh:n oikeanpuoleiset singulaarivektorit ovat pääkomponentteja, ja singulaariarvojen neliöt jaettuna luvulla n-1 ovat selitettyjä variansseja. Sklearnin PCA käyttää täsmälleen tätä menetelmää. Tämän yhteyden ymmärtäminen auttaa toteuttamaan tai mukauttamaan PCA:n alusta alkaen ulottuvuuden pienentämistä varten.

SVD mahdollistaa matala-asteisen matriisiapproksimaation: säilyttäkää vain k suurinta singulaariarvoa ja niitä vastaavat vektorit ja muodostakaa niiden avulla alkuperäisen matriisin approksimaatio. Tämä on kuvien pakkauksen ja suositteluihin käytettävän yhteistoiminnallisen suodatuksen perusta. Typistetty SVD U[:, :k] @ np.diag(s[:k]) @ Vh[:k, :] antaa pienimmän neliösumman mielessä parhaan astetta k olevan approksimaation (Eckartin–Youngin lause).

Käyttäkää ominaisarvohajotelmaa (np.linalg.eig tai eigh), kun käsiteltävänä on neliömäinen symmetrinen matriisi ja haluatte ymmärtää sen pääakselit — esimerkiksi PCA:n kovarianssimatriisin tai Markovin siirtymämatriisit. Käyttäkää SVD:tä (np.linalg.svd), kun matriisi ei ole neliömäinen tai tarvitsette parasta mahdollista numeerista vakautta. SVD on aina olemassa, kun taas ominaisarvohajotelma voi tuottaa kompleksilukuja epäsymmetrisille matriiseille.

Spektraalilauseen mukaan jokainen reaalinen symmetrinen matriisi A voidaan hajottaa muotoon A = Q @ diag(eigenvalues) @ Q.T, jossa Q on ortogonaalinen (Q.T = Q⁻¹). Tämä tarkoittaa, että symmetriset matriisit ovat aina diagonalisoituvia, ja niiden ominaisarvot ovat reaalisia ja ominaisvektorit ortogonaalisia. Kovarianssimatriisit, SVM-menetelmien kernelimatriisit ja optimoinnin Hessian-matriisi ovat kaikki symmetrisiä, joten tämä lause on erittäin hyödyllinen koneoppimisen teoriassa.

Kun tarvitsette vain suurimman ominaisarvon ja sitä vastaavan ominaisvektorin, potenssi-iteraatio on paljon tehokkaampi kuin kaikkien ominaisarvojen laskeminen. Aloittakaa satunnaisesta vektorista, kertokaa se toistuvasti matriisilla A ja normalisoikaa tulos; näin se lähestyy dominoivaa ominaisvektoria. Googlen alkuperäinen PageRank-algoritmi toimi tällä tavalla. NumPyssa jokainen iteraatio koostuu yhdestä matriisi–vektorikertolaskusta operaattorilla @.

Varsinaisessa datan käsittelyputkessa SVD:tä käytetään kohinan vähentämiseen ja datan pakkaukseen. Kun SVD on sovitettu opetusdataan, säilytätte vain k tärkeintä komponenttia, jotka kattavat 95 % varianssista. Tämä pienentää uuden datan ulottuvuutta ennen sen syöttämistä luokittimelle tai regressiomallille, nopeuttaa opettamista ja usein parantaa yleistämistä poistamalla kohinaisia ulottuvuuksia. Sovittakaa SVD aina vain opetusdataan ja käyttäkää testidataan samaa muunnosta.

Tässä oppitunnissa opit, että np.linalg.eig()/eigh() laskevat matriisin luontaiset venytyssuunnat paljastavat ominaisarvot ja ominaisvektorit, np.linalg.svd() hajottaa minkä tahansa matriisin U:ksi, singulaariarvoiksi ja Vh:ksi mahdollistaen PCA:n ja matala-asteisen approksimaation, ja singulaariarvot määrittävät kunkin komponentin kattaman varianssin sekä matriisin asteen. Seuraavaksi opettelemme käsittelemään suuria aineistoja lukemalla CSV-tiedostoja suoratoistona paloissa.