数学随笔6
高度AI化，因为只是作为整理，马上考线代了，我真的懒得自己整了。
矩阵的LU分解
最实用的方法是基于高斯消元法的变形，我们在消元的过程中同时构造
步骤 1：通过消元构造
-
这个最终得到的上三角矩阵就是
。 -
注意： 在标准 LU 分解中，不允许进行行交换。如果必须交换行，则需要引入置换矩阵
，变为 。 -
如果把
的对角线元素都改成 ，把 写成 ，就得到 分解，这里的 是对角阵， 是对角线为1的上三角阵。对于对称矩阵，就变成了 。
步骤 2：通过消元系数构造
在进行消元时，如果你使用了操作：
-
的对角线默认为 。 -
的其余位置（上三角部分）全为 。
算例 (3×3 矩阵)
假设我们要分解矩阵：
1. 消第一列：
-
，得到第二行新元素 。系数 。 -
，得到第三行新元素 。系数 。
2. 消第二列：
-
此时矩阵变为
。 -
，得到第三行新元素 。系数 。
3. 得到结果：
- 上三角矩阵
(消元后的结果):
- 下三角矩阵
(填入系数和对角线1):
矩阵的 QR 分解 (QR Decomposition)
1. 施密特正交化过程 (Gram-Schmidt Process)
这是将一组基
[!info] 复杂度说明 该算法的时间复杂度通常为
次乘法。
2. QR 分解表示法法
矩阵
QR 分解具体算例 (Gram-Schmidt)
1. 待分解矩阵
2. 施密特正交化步骤 (求
- 计算
：
- 计算
：
- 计算
：
3. 分解结果：
上三角矩阵 $ R
[!check] 几何意义验证
是第一个向量 的长度。 是 在 方向上的投影分量。 是 到平面 的垂直距离。
矩阵的
1. 定义与前提
如果矩阵
其中
2. 计算公式 (逐列求解)
通过矩阵乘法对应元素相等，可以推导出
[!info] 复杂度说明 Cholesky 分解的时间复杂度约为
次乘法，效率是普通 LU 分解的两倍，且存储空间减半（仅需存储 ）。
Cholesky 分解 (
1. 待分解矩阵
2. 计算步骤 (逐列求解下三角矩阵
设
第一列计算：
第二列计算：
*
第三列计算：
3. 分解结果
[!check] 验证计算
3. 性质与应用
[!tip] 核心观察
- 正定性判定：在分解过程中，如果根号下的值出现负数，说明原矩阵
不是正定矩阵。
矩阵的 SVD 分解 (Singular Value Decomposition)
1. 核心定义
对于任何一个
其中各部分的维度与性质如下：
： 阶正交矩阵，其列向量称为左奇异向量。 ： 阶对角矩阵，对角线元素 称为奇异值（通常按降序排列）。 ： 阶正交矩阵的转置，其列向量称为右奇异向量。
证明见SVD的随笔
2. 构造关系
SVD 与矩阵特征值分解（EVD）有着深刻的联系：
[!info] 结论
的列向量：是 的特征向量。 的列向量：是 的特征向量。 - 奇异值
：是 （或 ）非零特征值 的平方根，即 。
3. 几何意义：线性变换的分解
SVD 将一个复杂的线性变换拆解为三个简单的几何步骤：
- 旋转/翻转 (
)：将输入向量旋转到新的坐标系。 - 拉伸 (
)：沿着新坐标轴的方向进行缩放。 - 再次旋转/翻转 (
)：将缩放后的向量映射到目标空间的坐标系。
4. 应用场景
[!tip] 为什么 SVD 很重要？
- PCA (主成分分析)：保留前k个奇异值得到秩k最佳近似。
- 伪逆计算：
。
矩阵的极分解 (Polar Decomposition)
1. 核心定理
每个实方阵
其中：
：代表对称变换（对空间进行拉伸或压缩）。 ：代表正交变换（对空间进行旋转或镜像翻转）。
2. 变换过程的几何直观
极分解的过程可以看作是基底经历了一系列连续的线性变换：
[!tip] 物理类比 在连续介质力学中，极分解被用来将物体的形变分解为纯粹的旋转（Rotation）和纯粹的伸展（Stretch）。这类似于复数
的极坐标表示，其中 对应对称阵的缩放， 对应正交阵的旋转。
3. 与 SVD 的关系
极分解实际上是奇异值分解（SVD）的一种重新组合方式：
- 设
* 则 * 这里 是对称半正定阵，而 是正交阵。