Løsning af lineære ligningssystemer

Et system af lineære ligninger kan skrives på matrixform som Ax = b, hvor A er koefficientmatricen, x er vektoren af ubekendte, og b er højresidevektoren. To ligninger med to ubekendte kan for eksempel udtrykkes som en 2×2-matriceligning. At løse systemet betyder at finde x, så A multipliceret med x er lig med b. NumPys np.linalg.solve(A, b) håndterer dette effektivt og nøjagtigt.

Matematisk er løsningen på Ax = b x = A⁻¹b. Men beregning af np.linalg.inv(A) @ b er langsommere og mindre nøjagtig end at kalde np.linalg.solve(A, b) direkte. solve() bruger LU-dekomponering internt, hvilket kræver færre operationer og ophober færre flydende-kommafejl. Tommelfingerreglen er: Hvis du løser for x i Ax=b, skal du altid bruge solve, aldrig inv.

np.linalg.solve(A, b) kræver, at A er kvadratisk og ikke-singulær. Hvis A er singulær (determinanten er nul), udløser funktionen np.linalg.LinAlgError: Singular matrix. A er singulær, når rækkerne er lineært afhængige — for eksempel når en ligning blot er et multiplum af en anden. Kontrollér altid, at dit system er veldefineret, før du kalder solve. Hvis A ikke er kvadratisk, skal du i stedet bruge np.linalg.lstsq().

np.linalg.solve anvender internt LU-dekomponering: den faktoriserer A i en nedre trekantsmatrix L og en øvre trekantsmatrix U, så A = LU. Løsningen bliver derefter til to enklere trekantsløsninger (fremad- og bagudsubstitution), som er langt mere effektive end at gentage Gauss-elimination fra bunden. Det er den samme algoritme, som bruges af MATLAB, Fortran LAPACK og stort set alle biblioteker til videnskabelig databehandling.

np.linalg.solve(A, B) kan håndtere en matrix B med flere søjler og løse for hver søjle samtidigt. Hvis B har dimensionen (n, k), har resultatet X dimensionen (n, k), hvor hver søjle i X er løsningen for den tilsvarende søjle i B. Dette er nyttigt i fysiksimuleringer og maskinlæring, hvor du skal løse med den samme koefficientmatrix og mange forskellige højresider.

Når systemet er overbestemt (flere ligninger end ubekendte), findes der ingen eksakt løsning. np.linalg.lstsq(A, b) finder den x-værdi, der minimerer summen af de kvadrerede residualer ||Ax - b||² — det er netop det, lineær regression beregner. Den returnerer løsningen x, residualerne, rang og singulærværdierne. Argumentet rcond=None undertrykker en advarsel om forældelse og angiver grænsen for, hvornår singulærværdier behandles som nul.

Normalligningerne for almindelig mindste-kvadraters regression er A.T @ A @ x = A.T @ b, hvilket er et kvadratisk system, der kan løses med np.linalg.solve. Det giver samme resultat som lstsq, når A.T @ A er velkonditioneret. I praksis foretrækkes lstsq, fordi den bruger SVD og er stabil, selv når søjlerne næsten er kollineære, men normalligningerne hjælper dig med at forstå matematikken bag regression.

Før du løser systemet, er det god praksis at kontrollere konditionstallet med np.linalg.cond(A). Et konditionstal tæt på 1 betyder, at systemet er velkonditioneret, og at løsningen er pålidelig. Et meget stort konditionstal (f.eks. 1e12) betyder, at matricen næsten er singulær: små ændringer i b giver store ændringer i x, og løsningen kan være numerisk upålidelig. I så fald kan du overveje regularisering (ridge-regression) eller at bruge en mere robust løsningsmetode.

For meget store systemer, hvor A hovedsageligt består af nulelementer (en sparsom matrix), spilder det hukommelse at gemme hele matricen, og den tætte np.linalg.solve er langsom. SciPy stiller scipy.sparse og scipy.sparse.linalg.spsolve til rådighed; de udnytter sparsiteten i store systemer som modeller med finitte elementer eller netværksproblemer. Det er vigtigt for ydeevnen i videnskabelig databehandling at forstå, hvornår din matrix er sparsom.

Når du har løsningsvektoren x fra np.linalg.solve(A, b), skal du altid verificere den ved at beregne A @ x og sammenligne den med b ved hjælp af np.allclose(A @ x, b). Ved flydende kommaaritmetik får du sjældent en nøjagtig lighed — allclose kontrollerer, om værdierne ligger inden for en lille tolerance. Residualet ||Ax - b|| bør for et velkonditioneret system ligge tæt på maskinepsilon gange problemets skala.

Lineære løsningsmetoder bruges overalt i maskinlæring: lineær regression løser normal-ligningerne, Gauss-processer løser systemer med kernelmatricer, og Kalman-filtre løser ligninger for tilstandsopdatering. Når du forstår np.linalg.solve og lstsq, kan du implementere disse algoritmer fra bunden og fejlfinde dem, når resultaterne er uventede. NumPys linalg-modul giver dig de samme numeriske værktøjer, som bruges i videnskabelige biblioteker til produktion.

I denne lektion har du lært, at np.linalg.solve(A, b) effektivt løser kvadratiske lineære systemer ved hjælp af LU-dekomponering, at np.linalg.lstsq() finder løsningen med mindste kvadrater for overbestemte systemer, og at konditionstallet måler den numeriske stabilitet — store værdier advarer om næsten-singulære matricer. Nu skal vi se på egenværdier og SVD, som danner grundlag for PCA og mange maskinlæringsalgoritmer.