Wartości własne i przegląd SVD

Wektor własny macierzy kwadratowej A to niezerowy wektor v spełniający warunek A @ v = lambda * v — mnożenie przez A jedynie skaluje v, nie zmieniając jego kierunku. Skalar lambda nazywa się wartością własną odpowiadającą v. Wartości własne ujawniają wewnętrzne „współczynniki rozciągania” transformacji liniowej: wartość własna równa 2 oznacza, że macierz podwaja długości w kierunku wektora własnego, natomiast ujemna wartość własna odwraca kierunek.

np.linalg.eig(A) zwraca krotkę (eigenvalues, eigenvectors). Wartości własne są tablicą 1-wymiarową, a wektory własne — tablicą 2-wymiarową, w której każda kolumna jest wektorem własnym. Dla rzeczywistych macierzy symetrycznych, takich jak macierze kowariancji, wartości własne są zawsze rzeczywiste, a wektory własne są ortogonalne — dla macierzy symetrycznych należy używać np.linalg.eigh(A), ponieważ działa szybciej i gwarantuje zwrócenie wyników rzeczywistych.

Wartości własne kodują ważne właściwości macierzy. Wyznacznik jest równy iloczynowi wszystkich wartości własnych: det(A) = product(eigenvalues). Ślad (suma elementów na przekątnej) jest równy sumie wartości własnych: trace(A) = sum(eigenvalues). Macierz jest dodatnio określona (wszystkie wartości własne > 0) wtedy i tylko wtedy, gdy wszystkie jej wartości własne są dodatnie — jest to kluczowa właściwość poprawnych macierzy kowariancji i problemów optymalizacji wypukłej.

Rozkład według wartości osobliwych (SVD) rozkłada dowolną macierz A, nie tylko kwadratową, w postaci A = U @ S @ V.T, gdzie U i V są macierzami ortogonalnymi, a S jest macierzą diagonalną, której elementy na przekątnej to nieujemne wartości osobliwe. SVD jest najbardziej ogólnym i stabilnym numerycznie rozkładem macierzy. Stanowi podstawę PCA, kompresji obrazów, systemów rekomendacyjnych i obliczania pseudoodwrotności. np.linalg.svd(A) zwraca U, s (1-wymiarową tablicę wartości osobliwych) oraz Vh (macierz V po transpozycji).

Wartości osobliwe (elementy na przekątnej S) są zawsze nieujemne i standardowo zapisuje się je w kolejności malejącej. Liczba niezerowych wartości osobliwych jest równa rzędowi macierzy. Wartości osobliwe bliskie zeru wskazują na prawie liniową zależność między wierszami lub kolumnami. Największa wartość osobliwa wyznacza normę spektralną macierzy, a stosunek największej do najmniejszej niezerowej wartości osobliwej jest liczbą uwarunkowania używaną do pomiaru stabilności numerycznej.

Analizę głównych składowych (PCA) można zaimplementować bezpośrednio za pomocą SVD. Po wycentrowaniu macierzy danych X (odjęciu średnich kolumn) prawe wektory osobliwe w Vh są głównymi składowymi, a kwadraty wartości osobliwych podzielone przez n-1 są wyjaśnionymi wariancjami. PCA w bibliotece Sklearn korzysta dokładnie z tego podejścia. Zrozumienie tego związku pozwala implementować PCA od podstaw lub dostosowywać je do redukcji wymiarowości.

SVD umożliwia przybliżanie macierzy niskiego rzędu: należy zachować tylko k największych wartości osobliwych i odpowiadających im wektorów, a następnie odtworzyć przybliżenie oryginalnej macierzy. Jest to podstawa kompresji obrazów i filtrowania kolaboracyjnego stosowanego w rekomendacjach. Obcięty rozkład SVD U[:, :k] @ np.diag(s[:k]) @ Vh[:k, :] daje najlepsze przybliżenie rzędu k w sensie metody najmniejszych kwadratów (twierdzenie Eckarta-Younga).

Rozkładu własnego (np.linalg.eig lub eigh) należy używać, gdy mają Państwo kwadratową macierz symetryczną i chcą zrozumieć jej osie główne — na przykład macierz kowariancji w PCA lub macierze przejścia łańcuchów Markowa. SVD (np.linalg.svd) należy stosować, gdy macierz jest prostokątna lub gdy potrzebna jest maksymalna stabilność numeryczna. SVD zawsze istnieje, natomiast rozkład własny może generować liczby zespolone dla macierzy niesymetrycznych.

Twierdzenie spektralne mówi, że każdą rzeczywistą macierz symetryczną A można rozłożyć w postaci A = Q @ diag(eigenvalues) @ Q.T, gdzie Q jest ortogonalna (Q.T = Q⁻¹). Oznacza to, że macierze symetryczne zawsze można diagonalizować, uzyskując rzeczywiste wartości własne i ortogonalne wektory własne. Macierze kowariancji, macierze jąder w SVM oraz macierz Hessego w optymalizacji są symetryczne, dlatego twierdzenie to ma powszechne zastosowanie w teorii uczenia maszynowego.

Jeśli potrzebują Państwo tylko największej wartości własnej i odpowiadającego jej wektora własnego, iteracja potęgowa jest znacznie wydajniejsza niż obliczanie wszystkich wartości własnych. Należy rozpocząć od losowego wektora, wielokrotnie mnożyć go przez A i normalizować, aż zbiegnie do dominującego wektora własnego. Tak działał oryginalny algorytm PageRank firmy Google. NumPy sprowadza każdą iterację do pojedynczego mnożenia macierzy przez wektor za pomocą @.

W rzeczywistym potoku danych SVD służy do redukcji szumu i kompresji danych. Po dopasowaniu SVD do danych treningowych zachowuje się tylko k najlepszych składowych, które obejmują 95% wariancji. Zmniejsza to wymiarowość nowych danych przed przekazaniem ich do klasyfikatora lub reg resora, przyspieszając trenowanie i często poprawiając zdolność generalizacji przez usunięcie zaszumionych wymiarów. SVD należy zawsze dopasowywać wyłącznie do danych treningowych, a następnie stosować tę samą transformację do danych testowych.

Sprawdź swoją wiedzę na temat koncepcji analizy danych z tej lekcji.

W tej lekcji nauczyli się Państwo, że: np.linalg.eig()/eigh() obliczają wartości własne i wektory własne, które ujawniają wewnętrzne kierunki rozciągania macierzy, np.linalg.svd() rozkłada dowolną macierz na U, wartości osobliwe i Vh, umożliwiając PCA oraz przybliżanie macierzy niskiego rzędu, a wartości osobliwe określają wariancję uchwyconą przez każdą składową i wyznaczają rząd macierzy. W następnej części zajmiemy się obsługą dużych zbiorów danych przez strumieniowe odczytywanie plików CSV w fragmentach.