Решение систем линейных уравнений

Систему линейных уравнений можно записать в матричной форме как Ax = b, где A — матрица коэффициентов, x — вектор неизвестных, а b — вектор правой части. Например, два уравнения с двумя неизвестными можно представить в виде матричного уравнения с матрицей 2×2. Решение системы означает поиск такого x, что произведение A на x равно b. np.linalg.solve(A, b) из NumPy решает эту задачу эффективно и точно.

Математически решение уравнения Ax = b имеет вид x = A⁻¹b. Но вычисление np.linalg.inv(A) @ b медленнее и менее точно, чем непосредственный вызов np.linalg.solve(A, b). solve() использует внутри LU-разложение, которому требуется меньше операций и при котором накапливается меньшая погрешность вычислений с плавающей точкой. Практическое правило: если вы решаете уравнение относительно x в системе Ax=b, всегда используйте solve, а не inv.

np.linalg.solve(A, b) требует, чтобы A была квадратной и невырожденной. Если A вырождена (определитель равен нулю), функция возбуждает исключение np.linalg.LinAlgError: Singular matrix. Матрица A является вырожденной, когда её строки линейно зависимы — например, если одно уравнение является просто умноженным на число другим уравнением. Всегда проверяйте корректность постановки системы перед вызовом solve. Если A не квадратная, вместо этого используйте np.linalg.lstsq().

np.linalg.solve внутри применяет LU-разложение: раскладывает A на нижнетреугольную матрицу L и верхнетреугольную матрицу U так, что A = LU. Затем решение сводится к двум более простым решениям треугольных систем (прямой и обратной подстановке), что гораздо эффективнее, чем многократное выполнение исключения Гаусса с нуля. Этот же алгоритм используется в MATLAB, Fortran LAPACK и практически всех библиотеках научных вычислений.

np.linalg.solve(A, B) может работать с матрицей B с несколькими столбцами, решая систему одновременно для каждого столбца. Если B имеет форму (n, k), результат X имеет форму (n, k), причём каждый столбец X является решением для соответствующего столбца B. Это полезно в физических моделях и машинном обучении, когда одну и ту же матрицу коэффициентов нужно использовать для множества разных правых частей.

Когда система переопределена (уравнений больше, чем неизвестных), точного решения не существует. np.linalg.lstsq(A, b) находит такое x, которое минимизирует сумму квадратов невязок ||Ax - b||² — именно это и вычисляет линейная регрессия. Функция возвращает решение x, невязки, ранг и сингулярные значения. Аргумент rcond=None подавляет предупреждение об устаревании и задаёт порог, ниже которого сингулярные значения считаются нулевыми.

Нормальные уравнения обычного метода наименьших квадратов имеют вид A.T @ A @ x = A.T @ b — это квадратная система, которую можно решить с помощью np.linalg.solve. При хорошо обусловленной матрице A.T @ A результат совпадает с результатом lstsq. На практике предпочтительнее lstsq, поскольку эта функция использует SVD и остаётся устойчивой даже при почти линейно зависимых столбцах, но нормальные уравнения помогают понять математическую основу регрессии.

Перед решением системы полезно проверить число обусловленности с помощью np.linalg.cond(A). Число обусловленности, близкое к 1, означает, что система хорошо обусловлена, а её решение надёжно. Очень большое число обусловленности (например, 1e12) означает, что матрица почти вырождена: небольшие изменения b вызывают огромные изменения x, и решение может быть численно ненадёжным. В таком случае рассмотрите регуляризацию (гребневую регрессию) или использование более устойчивого решателя.

Для очень больших систем, в которых A содержит преимущественно нулевые элементы (разреженная матрица), хранение полной матрицы расходует память, а использование плотной функции np.linalg.solve работает медленно. SciPy предоставляет scipy.sparse и scipy.sparse.linalg.spsolve, которые используют разреженность для решения огромных систем, например в моделях метода конечных элементов или сетевых задачах. Умение определять, является ли матрица разреженной, важно для производительности научных вычислений.

Получив вектор решения x с помощью np.linalg.solve(A, b), всегда проверяйте его, вычисляя A @ x и сравнивая результат с b с помощью np.allclose(A @ x, b). При вычислениях с плавающей точкой точное равенство встречается редко — allclose проверяет равенство с небольшой допустимой погрешностью. Невязка ||Ax - b|| для хорошо обусловленной системы должна быть близка к произведению машинного эпсилона и масштаба задачи.

Линейные решатели используются во многих областях машинного обучения: линейная регрессия решает нормальные уравнения, гауссовские процессы решают системы с матрицами ядер, а фильтры Калмана решают уравнения обновления состояния. Понимая работу np.linalg.solve и lstsq, вы сможете реализовать эти алгоритмы с нуля и находить в них ошибки, когда результаты оказываются неожиданными. Модуль linalg в NumPy предоставляет те же численные инструменты, которые используются в промышленных библиотеках научных вычислений.

В этом уроке вы узнали, что np.linalg.solve(A, b) эффективно решает квадратные линейные системы с помощью LU-разложения; np.linalg.lstsq() находит решение методом наименьших квадратов для переопределённых систем; а число обусловленности измеряет численную устойчивость — большие значения предупреждают о почти вырожденных матрицах. Далее мы рассмотрим собственные значения и SVD, лежащие в основе PCA и многих алгоритмов машинного обучения.