Собственные значения и обзор SVD

Собственный вектор квадратной матрицы A — это ненулевой вектор v, такой что A @ v = lambda * v: умножение на A лишь изменяет масштаб v, но не меняет его направление. Скаляр lambda называется собственным значением, соответствующим v. Собственные значения показывают внутренние «коэффициенты растяжения» линейного преобразования: собственное значение 2 означает, что матрица удваивает длины в направлении собственного вектора; отрицательное собственное значение меняет направление на противоположное.

np.linalg.eig(A) возвращает кортеж (eigenvalues, eigenvectors). Собственные значения представлены одномерным массивом, а собственные векторы — двумерным массивом, где каждый столбец является собственным вектором. Для вещественных симметричных матриц (например, ковариационных матриц) собственные значения всегда вещественны, а собственные векторы ортогональны — для симметричных матриц используйте np.linalg.eigh(A), поскольку эта функция работает быстрее и гарантированно возвращает вещественные результаты.

Собственные значения содержат важные сведения о свойствах матрицы. Определитель равен произведению всех собственных значений: det(A) = product(eigenvalues). След (сумма диагональных элементов) равен сумме собственных значений: trace(A) = sum(eigenvalues). Матрица является положительно определённой (все собственные значения > 0) только тогда, когда все её собственные значения положительны — это важное свойство корректных ковариационных матриц и задач выпуклой оптимизации.

Сингулярное разложение (SVD) раскладывает любую матрицу A, а не только квадратную, в виде A = U @ S @ V.T, где U и V — ортогональные матрицы, а S — диагональная матрица с неотрицательными сингулярными значениями на диагонали. SVD — наиболее общее и численно устойчивое разложение матрицы. Оно лежит в основе PCA, сжатия изображений, рекомендательных систем и вычисления псевдообратной матрицы. np.linalg.svd(A) возвращает U, s (одномерный массив сингулярных значений) и Vh (транспонированную V).

Сингулярные значения (элементы диагонали S) всегда неотрицательны и обычно перечисляются в порядке убывания. Число ненулевых сингулярных значений равно рангу матрицы. Сингулярные значения, близкие к нулю, указывают на почти линейную зависимость строк или столбцов. Наибольшее сингулярное значение задаёт спектральную норму матрицы, а отношение наибольшего сингулярного значения к наименьшему ненулевому является числом обусловленности, используемым для оценки численной устойчивости.

Метод главных компонент (PCA) можно реализовать непосредственно с помощью SVD. После центрирования матрицы данных X (вычитания средних значений столбцов) правые сингулярные векторы в Vh являются главными компонентами, а квадраты сингулярных значений, разделённые на n-1, — объяснёнными дисперсиями. PCA в sklearn использует именно этот подход. Понимание этой связи позволяет реализовать или настроить PCA с нуля для снижения размерности.

SVD позволяет выполнять низкоранговую аппроксимацию матрицы: сохранять только k наибольших сингулярных значений и векторов, а затем восстанавливать приближение исходной матрицы. Это лежит в основе сжатия изображений и коллаборативной фильтрации для построения рекомендаций. Усечённое SVD U[:, :k] @ np.diag(s[:k]) @ Vh[:k, :] даёт наилучшее приближение ранга k в смысле метода наименьших квадратов (теорема Эккарта — Янга).

Используйте собственное разложение (np.linalg.eig или eigh), если у Вас есть квадратная симметричная матрица и Вы хотите понять её главные оси — например, ковариационную матрицу в PCA или матрицы переходов Маркова. Используйте SVD (np.linalg.svd), если Ваша матрица прямоугольная или Вам требуется максимальная численная устойчивость. SVD существует всегда, тогда как собственное разложение для несимметричных матриц может давать комплексные числа.

Спектральная теорема утверждает, что любую вещественную симметричную матрицу A можно разложить в виде A = Q @ diag(eigenvalues) @ Q.T, где Q — ортогональная матрица (Q.T = Q⁻¹). Это означает, что симметричные матрицы всегда диагонализируемы, имеют вещественные собственные значения и ортогональные собственные векторы. Ковариационные матрицы, матрицы ядер в SVM и матрица Гессе в задачах оптимизации симметричны, поэтому эта теорема имеет универсальное значение в теории машинного обучения.

Если Вам требуется только наибольшее собственное значение и соответствующий ему собственный вектор, степенная итерация намного эффективнее вычисления всех собственных значений. Начните со случайного вектора, многократно умножайте его на A и нормируйте — итерации сойдутся к доминирующему собственному вектору. Именно так работал исходный алгоритм PageRank от Google. NumPy позволяет выполнять каждую итерацию одним умножением матрицы на вектор с помощью @.

В реальном конвейере обработки данных SVD используют для снижения шума и сжатия данных. После обучения SVD на обучающих данных сохраняют только первые k компонент, которые охватывают 95% дисперсии. Это уменьшает размерность новых данных перед их передачей классификатору или регрессору, ускоряет обучение и часто улучшает обобщающую способность модели за счёт удаления зашумлённых измерений. Всегда обучайте SVD только на обучающих данных и применяйте одно и то же преобразование к тестовым данным.

Проверьте, насколько хорошо Вы понимаете понятия анализа данных из этого урока.

В этом уроке Вы узнали, что np.linalg.eig()/eigh() вычисляют собственные значения и собственные векторы, раскрывающие внутренние направления растяжения матрицы; np.linalg.svd() раскладывает любую матрицу на U, сингулярные значения и Vh, что позволяет выполнять PCA и низкоранговую аппроксимацию; а сингулярные значения количественно характеризуют дисперсию, объясняемую каждой компонентой, и определяют ранг матрицы. Далее мы рассмотрим обработку больших наборов данных потоково, считывая файлы CSV частями.