Wyznaczniki, macierze odwrotne i transpozycje

Transpozycja macierzy polega na odbiciu jej względem przekątnej: wiersze stają się kolumnami, a kolumny wierszami. Jeśli macierz A ma kształt (m, n), to A.T ma kształt (n, m). Transpozycje pojawiają się wszędzie w algebrze liniowej: przy obliczaniu macierzy kowariancji, implementowaniu propagacji wstecznej gradientu oraz konwertowaniu między konwencją wektora wierszowego i kolumnowego. NumPy udostępnia transpozycję za pomocą atrybutu .T — nie jest tworzona kopia, lecz widok z przestawionymi krokami w pamięci.

Często spotykanym działaniem jest obliczanie A.T @ A, które daje symetryczną macierz kwadratową pojawiającą się w regresji metodą najmniejszych kwadratów, analizie PCA oraz równaniach normalnych. Jeśli A ma kształt (n, p), to A.T @ A ma kształt (p, p). Wynik jest zawsze symetryczny, ponieważ (A.T @ A)[i,j] == (A.T @ A)[j,i]. Wiele solverów numerycznych wykorzystuje tę właściwość w celu zwiększenia wydajności.

Wyznacznik macierzy kwadratowej jest wartością skalarną zawierającą informacje geometryczne: mierzy współczynnik, przez który macierz skaluje pola (w 2D) lub objętości (w wyższych wymiarach). Wyznacznik równy zero oznacza, że macierz jest osobliwa — odwzorowuje przestrzeń na podprzestrzeń o niższym wymiarze i nie ma macierzy odwrotnej. Niezerowy wyznacznik gwarantuje odwracalność macierzy. NumPy oblicza go za pomocą np.linalg.det().

Macierz odwrotna do macierzy A, oznaczana jako A⁻¹, spełnia warunek A @ A⁻¹ = I, gdzie I jest macierzą jednostkową. Macierze odwrotne istnieją tylko dla macierzy kwadratowych i nieosobliwych. np.linalg.inv(A) oblicza macierz odwrotną numerycznie. W praktyce należy rzadko obliczać macierz odwrotną bezpośrednio, ponieważ jest to niestabilne numerycznie; zamiast tego w układach równań należy używać np.linalg.solve(). Koncepcyjne zrozumienie macierzy odwrotnych jest jednak niezbędne.

Obliczenie macierzy odwrotnej, a następnie wykonanie mnożenia wprowadza błędy zmiennoprzecinkowe, które się kumulują. Na przykład rozwiązanie A_inv @ b jest mniej dokładne niż bezpośrednie wywołanie np.linalg.solve(A, b). Macierz o dobrym uwarunkowaniu (z wyznacznikiem odległym od zera) jest mniej podatna na te błędy. Współczynnik uwarunkowania (np.linalg.cond(A)) określa, jak blisko macierz znajduje się osobliwości — duże wartości współczynnika sygnalizują problemy numeryczne.

Szczególną klasę stanowią macierze ortogonalne, dla których A.T @ A = I. Oznacza to, że transpozycja JEST macierzą odwrotną, dzięki czemu odwracanie macierzy ortogonalnych jest niezwykle tanie obliczeniowo. Macierze obrotu oraz czynnik Q w rozkładzie QR są ortogonalne. Kolumny macierzy ortogonalnej tworzą bazę ortonormalną — każda kolumna ma długość jednostkową i jest prostopadła do wszystkich pozostałych kolumn.

Zwykła macierz odwrotna istnieje tylko dla macierzy kwadratowych, ale pseudoodwrotna Moore’a-Penrose’a uogólnia odwracanie na dowolne macierze. np.linalg.pinv(A) oblicza ją za pomocą SVD. Stanowi ona podstawę rozwiązania metodą najmniejszych kwadratów dla układów nadokreślonych (z większą liczbą równań niż niewiadomych), czyli dokładnie takich, jakie rozwiązuje regresja liniowa. Jeśli A jest kwadratowa i odwracalna, pinv(A) jest równe inv(A).

Znak wyznacznika wskazuje, czy transformacja zachowuje, czy odwraca orientację. Dodatni wyznacznik oznacza zachowanie orientacji (jak w przypadku obrotu), a ujemny — jej odwrócenie (jak w przypadku odbicia). Wartość bezwzględna określa współczynnik skalowania objętości. Dla macierzy 2×2 [[a,b],[c,d]] zachodzi det = a*d - b*c. NumPy wydajnie obsługuje macierze kwadratowe o dowolnym rozmiarze.

W przypadku dużych macierzy wyznacznik może przekroczyć zakres wartości lub zostać zredukowany do zera, nawet gdy macierz nie jest osobliwa. np.linalg.slogdet(A) zwraca (sign, log_abs_det) — znak oraz logarytm naturalny wartości bezwzględnej wyznacznika — co zapobiega przepełnieniu numerycznemu. Jest to powszechnie używane w modelach probabilistycznych (wiarygodnościach gaussowskich), w których obliczenia prowadzi się w przestrzeni logarytmów, aby utrzymać liczby w rozsądnym zakresie.

Dla macierzy 2×2 [[a, b], [c, d]] macierz odwrotna ma postać (1/det) * [[d, -b], [-c, a]], gdzie det = ad - bc. Znajomość tego wzoru pomaga punktowo sprawdzać wynik uzyskany w NumPy. Dla większych macierzy analityczne obliczanie macierzy odwrotnej jest niepraktyczne — właśnie dlatego używamy np.linalg.inv(). Wyniki numeryczne należy zawsze weryfikować za pomocą np.allclose(A @ A_inv, np.eye(n)).

Często spotykany wzorzec algebry liniowej łączy transpozycję i macierz odwrotną: obliczenie (A.T @ A)⁻¹ @ A.T daje macierz projekcji używaną w zwykłej metodzie najmniejszych kwadratów. W NumPy można zapisać to jako np.linalg.inv(A.T @ A) @ A.T, ale także w tym przypadku pod względem numerycznym lepsze jest np.linalg.lstsq. Znajomość podstawowego schematu pomaga zrozumieć działanie solvera i diagnozować problemy, gdy macierze są bliskie osobliwości.

Sprawdźcie Państwo swoją wiedzę na temat pojęć analizy danych z tej lekcji.

W tej lekcji nauczyli się Państwo, że: A.T to transpozycja zamieniająca wiersze i kolumny, np.linalg.inv() oblicza macierz odwrotną, ale należy rzadko używać go bezpośrednio (zamiast tego preferowane są solve lub lstsq), a np.linalg.det() zwraca wyznacznik, który dla macierzy osobliwych wynosi zero. Następnie omówimy bezpośrednie rozwiązywanie układów równań liniowych za pomocą np.linalg.solve.