LOADING

加载过慢请开启缓存 浏览器默认开启

数学随笔2

作为一个整理而已,没有太多思想。

分块矩阵的行列式

如果希望求解分块矩阵的行列式,我们通常也像正常行列式那样消元形成三角阵,那也就可以如此操作:

$$ \begin{pmatrix} A & B \\ C & D \end{pmatrix} \xrightarrow{R_1 - BD^{-1}R_2} \begin{pmatrix} A-BD^{-1}C & O \\ C & D \end{pmatrix} $$

此时就可以得到

$$ \det(M) = \det(D) \cdot \det(A - BD^{-1}C) $$

Woodbury 恒等式

$$ (A - BD^{-1}C)^{-1} = A^{-1} + A^{-1}B(D - CA^{-1}B)^{-1}CA^{-1} $$

证明通过行列变换给出:
设 $M = \begin{pmatrix} A & B \ C & D \end{pmatrix}$,假设 $A$可逆,则$D$ 可逆。
首先我们可以进行行列变换:

$$ \begin{pmatrix} A & B \\ C & D \end{pmatrix} \xrightarrow{R_1 - BD^{-1}R_2} \begin{pmatrix} A-BD^{-1}C & O \\ C & D \end{pmatrix} $$

这样就得到了左边出现的$(A - BD^{-1}C)$,如何求逆呢?
我们只要求出$M$的逆,他的左上角即为$A-BD^{-1}C$的逆了,那么就只是简单的消元,构造增广矩阵:

$$ \left( \begin{array}{cc|cc} A & B & I & 0 \\ C & D & 0 & I \end{array} \right) $$

第一行乘$A^{-1}$:

$$ \left( \begin{array}{cc|cc} I & A^{-1}B & A^{-1} & 0 \\ C & D & 0 & I \end{array} \right) $$

消去左下角 $C

$$ $\left( \begin{array}{cc|cc} I & A^{-1}B & A^{-1} & 0 \\ 0 & D - CA^{-1}B & -CA^{-1} & I \end{array} \right) $$

记$\Delta_A=D - CA^{-1}B$,然后乘上他的逆:

$$ \left( \begin{array}{cc|cc} I & A^{-1}B & A^{-1} & 0 \\ 0 & I & -\Delta_A^{-1}CA^{-1} & \Delta_A^{-1} \end{array} \right) $$

最后消掉右上角:

$$ \left( \begin{array}{cc|cc} I & 0 & A^{-1} + A^{-1}B\Delta_A^{-1}CA^{-1} & -A^{-1}B\Delta_A^{-1} \\ 0 & I & -\Delta_A^{-1}CA^{-1} & \Delta_A^{-1} \end{array} \right) $$

代入$\Delta_A=D - CA^{-1}B$ 我们就得到:

$$ (A - BD^{-1}C)^{-1} = A^{-1} + A^{-1}B(D - CA^{-1}B)^{-1}CA^{-1} $$

这就完成了证明。如果我们代入一些简单的值就会得到漂亮的等式:

$$ (I_n - BA)^{-1} = I_n + B(I_m - AB)^{-1}A $$

把矩阵换成向量$\alpha, \beta^T$:

$$ (I_n - \alpha \beta^T)^{-1} =I_n+\frac{\alpha \beta^T}{1-\beta^T \alpha} (\beta^T \alpha \neq 1) $$

Schur 补

上面的

$$ D - CA^{-1}B $$

就被称为Schur补。通常这是一个计算分块矩阵行列式的好办法,从它的来历就可以窥出。

Schur补与判别式

二次函数 $ax^2 + bx + c$。我们可以把它写成对称矩阵的二次型:

$$ f(x, 1) = \begin{pmatrix} x & 1 \end{pmatrix} \begin{pmatrix} a & b/2 \\ b/2 & c \end{pmatrix} \begin{pmatrix} x \\ 1 \end{pmatrix} $$

对于这个 $2 \times 2$矩阵,如果我们计算$a$ 的 Schur 补:

$$ S = c - (b/2)a^{-1}(b/2) = c - \frac{b^2}{4a} = \frac{4ac - b^2}{4a} $$

你会发现Schur 补的分子部分正好就是判别式 $\Delta$ 的相反数。
这实际上可以推广到分块矩阵的正定性。
对于对称矩阵 $M = \begin{pmatrix} A & B \ B^T & C \end{pmatrix}$,$M \succ 0$(正定)当且仅当:

  1. $A \succ 0$2.$S = C - B^T A^{-1} B \succ 0$
    因为这实际上相当于我们做了一个合同变换把他变成了对角阵:

$$ M' = \begin{pmatrix} A & O \\ O & C-B^TA^{-1}B \end{pmatrix} $$

从而保正定性,只要$M’$正定就可知$M$正定。

正定加半正定行列式不变小

假设$A,B$是两个复$Hermitian$矩阵,其中$A$正定,$B$半正定,那么有:

$$ det(A+B) \ge det(A) $$

证明:
我们希望更直观地看到$A+B与A$的差别,利用Schur补:

$$ det(A+B)=det(A) \cdot det(I+A^{-1}B) $$

当然这也是可以一眼看出的(
然后我们只需要证明:

$$ det(I+A^{-1}B) \ge 1 $$

这时利用$A正定从而A^{-1}正定$(特征值全部大于0),就可以拆分:

$$ det(I+A^{-1/2} \cdot A^{-1/2} \cdot B) $$

把后两个矩阵看做一块,和第一个交换乘法顺序:

$$ det(I+A^{-1/2}BA^{-1/2}) $$

这相当于对B做合同变换,保特征值,可见$A^{-1/2}BA^{-1/2}$半正定,显然这也对称,于是可以把它对角化:

$$ A^{-1/2}BA^{-1/2} = Q \Sigma Q^* $$

那么$\Sigma$特征值非负,从而原来那个行列式也就等于

$$ det(I+ \Sigma) >= det(I) = 1 $$

也就完成了证明