笔记4.矩阵空间与向量空间的同构
对一个向量，我们把它看做 $n$个坐标，构建从向量到$n$ 个坐标的同构。
矩阵实际上也就是向量的堆叠，那类似的我们把它看做 $n$ 个向量，也可以构建同构。
矩阵的展开 (Matrix Vectorization)
列展开 $\text{cs}(A)$：将 $m \times n$矩阵$A$的元素自左向右、一列一列地排列成一个$mn$ 维列向量。
- 示例：若 $A = \begin{pmatrix} 1 & 4 \ 2 & 5 \ 3 & 6 \end{pmatrix}$，则 $\text{cs}(A) = [1, 2, 3, 4, 5, 6]^T$。
行展开 $\text{rs}(A)$：类似地，将矩阵按行顺序排列成一个行向量。
- 示例：对于上述矩阵，$rs(A) = [1, 4, 2, 5, 3, 6]$。
这显然是同构，也就是说，我们完全可以把矩阵看成一个超级向量。
Kronecker 积 (Kronecker Product)
定义
设矩阵 $A = [a_{ij}] \in M_{m,n}(K)$，矩阵 $B \in M_{p,q}(K)$。它们的 Kronecker 积（也称张量积）记为 $A \otimes B$，是一个 $mp \times nq$ 的分块矩阵：
$$ A \otimes B = \begin{pmatrix} a_{11}B & \dots & a_{1n}B \\ \vdots & \ddots & \vdots \\ a_{m1}B & \dots & a_{mn}B \end{pmatrix} $$
即用 $A$的每个元素$a_{ij}$乘以矩阵$B$ 得到的分块矩阵。
关键性质
非交换性：一般情况下，$A \otimes B \neq B \otimes A$。
结合律：$(A \otimes B) \otimes C = A \otimes (B \otimes C)$。
特殊情形：当 $A$为列向量且$C$为行向量时（或反之），在特定维度下可能满足$A \otimes C = C \otimes A = AC$。
运算示例
基础计算
若 $A = \begin{pmatrix} 1 & 2 & 3 \ 4 & 5 & 6 \end{pmatrix}$，$B = \begin{pmatrix} a & b \ c & d \end{pmatrix}$，则：
$$ A \otimes B = \begin{pmatrix} B & 2B & 3B \\ 4B & 5B & 6B \end{pmatrix} = \begin{pmatrix} a & b & 2a & 2b & 3a & 3b \\ c & d & 2c & 2d & 3c & 3d \\ 4a & 4b & 5a & 5b & 6a & 6b \\ 4c & 4d & 5c & 5d & 6c & 6d \end{pmatrix} $$
向量间的积
若 $A = [1, 2, 3]^T$，$B = [a, b]^T$，则：
$A \otimes B = [a, b, 2a, 2b, 3a, 3b]^T$-$B \otimes A = [a, 2a, 3a, b, 2b, 3b]^T$
（此处直观展示了顺序不同导致的结果差异）
4. 混合乘积公式 (Mixed-Product Property)
这是 Kronecker 积最重要的性质之一，联系了普通矩阵乘法与张量积：
$$ (A \otimes B)(C \otimes D) = (AC) \otimes (BD) $$
前提条件：矩阵乘法 $AC$和$BD$必须有意义（即$A$的列数等于$C$ 的行数，$B$的列数等于$D$ 的行数）。
推导逻辑：通过分块矩阵乘法规律可以证明，左侧展开后的子块项 $\sum a_{ik} c_{kj} B D$正好对应右侧$(AC) \otimes (BD)$ 的构造。
Kronecker 积的核心性质
结合律：$(A \otimes B) \otimes C = A \otimes (B \otimes C)$
混合乘积公式：$(A \otimes B)(C \otimes D) = AC \otimes BD$
逆矩阵：$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$
转置：$(A \otimes B)^T = A^T \otimes B^T$- 正交性保持：若$A, B$是正交矩阵，则$A \otimes B$ 也是正交矩阵。
代数特征（秩、行列式、特征值）
秩：$\text{rank}(A \otimes B) = \text{rank}(A) \cdot \text{rank}(B)$2. 行列式：设$A$为$m$ 阶方阵，$B$为$n$阶方阵，则$|A \otimes B| = |A|^n |B|^m$
特征值：
设 $A$的特征值为$\lambda_i$，$B$的特征值为$\mu_j$。
$A \otimes B$的特征值为$\lambda_i \mu_j$。
Kronecker 和 $A \otimes I_n + I_m \otimes B$的特征值为$\lambda_i + \mu_j$。
特殊实例：Hadamard 矩阵的构造
利用 Kronecker 积可以递归构造特殊的正交矩阵（如 Hadamard 矩阵）：
- $A_2 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 & 1 \ 1 & -1 \end{pmatrix}$-$A_4 = A_2 \otimes A_2 = \frac{1}{2} \begin{pmatrix} A_2 & A_2 \ A_2 & -A_2 \end{pmatrix}$-$A_8 = A_2 \otimes A_4$ … 以此类推。
矩阵列展开的核心定理
这是连接矩阵方程与线性方程组的桥梁：
定理：$\text{cs}(AXB) = (B^T \otimes A) \text{cs}(X)$
证明逻辑拆解：
左乘变换：$\text{cs}(AX) = (I_n \otimes A) \text{cs}(X)$。这说明 $A$对$X$ 的左乘对应于列展开后的块对角阵相乘。
右乘变换：$\text{cs}(XB) = (B^T \otimes I_m) \text{cs}(X)$。注意此处 $B$ 需要转置。
合成结论：通过结合律 $\text{cs}(A(XB)) = (I_n \otimes A) \text{cs}(XB) = (I_n \otimes A)(B^T \otimes I_m) \text{cs}(X)$，利用混合乘积公式化简为 $(B^T \otimes A) \text{cs}(X)$。
线性变换的矩阵表示
设 $\mathcal{A}: X \mapsto AXB$是矩阵空间$M_{m,n}(K)$ 上的线性变换：
在标准基 $E_{1,1}, E_{2,1}, \dots, E_{m,n}$（即按列展开排序）下，该线性变换对应的矩阵正是 $B^T \otimes A$。
直观理解：
$A$作用于$X$ 的行变换。
$B$作用于$X$ 的列变换。
线性矩阵方程的向量化求解
基于前文的列展开性质，可以将复杂的矩阵方程转化为标准的线性方程组形式。
- 推论：$X \in M_{m,n}(K)$是矩阵方程$\sum_{j=1}^{s} A_j X B_j = C$的解，当且仅当其列展开$\text{cs}(X)$ 满足：
$$ \left( \sum_{j=1}^{s} B_j^T \otimes A_j \right) \text{cs}(X) = \text{cs}(C) $$
其中 $A_j, B_j$分别为$m, n$ 级方阵，$C \in M_{m,n}(K)$。
- 本质：这利用了 Kronecker 积将矩阵算子“拉直”为算子矩阵，使得我们能用经典的线性代数工具（如高斯消元法）来处理矩阵方程。
张量积空间 (Tensor Product Space)
将张量积从矩阵运算上升到线性空间的构造。
- 定义：设 $U = R^m, V = R^n$ 是两个线性空间，集合
$$ T = \left\{ \sum_{i=1}^{k} \alpha_i \otimes \beta_i \mid \alpha_i \in U, \beta_i \in V, k \geq 1 \right\} $$
构成一个线性空间，称为 $U$与$V$的张量积空间，记为$U \otimes V$。
基与维数：
若 $\alpha_1, \dots, \alpha_m$是$U$ 的基，$\beta_1, \dots, \beta_n$是$V$ 的基。
则所有可能的组合 ${\alpha_i \otimes \beta_j}$构成$U \otimes V$ 的一组基。
结论：$U \otimes V \cong R^{mn}$，即张量积空间的维数是原空间维数的乘积。
线性变换的张量积
这是张量积在算子层面的推广。
- 定义：设 $\mathcal{A} \in \text{Hom}(U), \mathcal{B} \in \text{Hom}(V)$，定义线性变换 $\mathcal{A} \otimes \mathcal{B}: U \otimes V \to U \otimes V$ 为：
$$ \mathcal{A} \otimes \mathcal{B} (\alpha \otimes \beta) = (\mathcal{A}\alpha) \otimes (\mathcal{B}\beta) $$
该变换称为变换 $\mathcal{A}$与$\mathcal{B}$ 的张量积。
矩阵表示：
若 $\mathcal{A}$在基${\alpha_i}$下的矩阵为$A$，$\mathcal{B}$在基${\beta_j}$下的矩阵为$B$，则线性变换 $\mathcal{A} \otimes \mathcal{B}$在$U \otimes V$的基${\alpha_i \otimes \beta_j}$ 下的矩阵恰好就是 $A \otimes B$。
这些东西实际上是可以简化结构，让我们更清楚地看到矩阵的，例如我们可以看一些问题：
题目：矩阵方程解空间的性质证明
设 $A, B$分别是$m, n$级方阵，且$\text{rank}(A) = r$，$\text{rank}(B) = s$。证明：
$$ W = \{ X \in M_{m,n}(K) \mid AXB = 0 \} $$
是矩阵空间 $M_{m,n}(K)$的子空间，且$\dim W = mn - rs$。
1. 证明 $W$ 是子空间
根据子空间的定义，需验证对加法和数乘的封闭性：
- 加法封闭性：设 $X, Y \in W$，则有 $AXB = 0$且$AYB = 0$。
$$ A(X + Y)B = AXB + AYB = 0 + 0 = 0 $$
故 $X + Y \in W$。
- 数乘封闭性：设 $X \in W, k \in K$，则：
$$ A(kX)B = k(AXB) = k \cdot 0 = 0 $$
故 $kX \in W$。
由此可知，$W$是$M_{m,n}(K)$ 的子空间。
2. 证明 $\dim W = mn - rs$
这里使用了**列展开（Vectorization）**和 Kronecker 积 的性质将矩阵问题转化为线性方程组问题。
(1) 方程转化
利用恒等式 $\text{cs}(AXB) = (B^T \otimes A) \text{cs}(X)$，原矩阵方程 $AXB = 0$ 等价于线性方程组：
$$ (B^T \otimes A) \cdot \text{cs}(X) = \mathbf{0} $$
其中，$\text{cs}(X)$是一个$mn$维的列向量，系数矩阵为$M = B^T \otimes A$，其规模为 $mn \times mn$。
(2) 确定系数矩阵的秩
根据 Kronecker 积关于秩的性质：
$$ \text{rank}(B^T \otimes A) = \text{rank}(B^T) \cdot \text{rank}(A) $$
由于矩阵转置不改变秩，且已知 $\text{rank}(A) = r, \text{rank}(B) = s$，则：
$$ \text{rank}(B^T \otimes A) = s \cdot r = rs $$
(3) 利用维数公式
子空间 $W$ 的维数等价于上述齐次线性方程组解空间的维数。根据线性方程组解空间的维数公式（$n$ 维空间减去系数矩阵的秩）：
$$ \dim W = \dim (\text{解空间}) = mn - \text{rank}(B^T \otimes A) = mn - rs $$
证毕。
题目：矩阵变换 $\mathcal{S}$ 的特征值与对角化证明
设 $A, B$分别是$m, n$阶复矩阵，其特征值分别为${\lambda_1, \dots, \lambda_m}$与${\mu_1, \dots, \mu_n}$。
定义映射 $\mathcal{S}: M_{m,n}(\mathbb{C}) \to M_{m,n}(\mathbb{C})$：
$$ \mathcal{S}(X) = AX - XB + AXB^2 $$
1. 证明 $\mathcal{S}$ 是线性变换
根据线性变换的定义，需满足加法与数乘的齐次性：
- 线性度验证：利用矩阵乘法的分配律与结合律：
$$ \mathcal{S}(k_1 X + k_2 Y) = A(k_1 X + k_2 Y) - (k_1 X + k_2 Y)B + A(k_1 X + k_2 Y)B^2 $$
$$ = k_1(AX - XB + AXB^2) + k_2(AY - YB + AYB^2) = k_1 \mathcal{S}(X) + k_2 \mathcal{S}(Y) $$
故 $\mathcal{S}$是$M_{m,n}(\mathbb{C})$ 上的线性变换。
2. 求变换 $\mathcal{S}$ 的所有特征值
利用列展开（Vectorization），我们将 $\mathcal{S}(X)$ 转换为向量形式：
$$ \text{cs}(\mathcal{S}(X)) = \text{cs}(AXI_n - I_m XB + AXB^2) $$
根据公式 $\text{cs}(AXB) = (B^T \otimes A) \text{cs}(X)$，提取 $\text{cs}(X)$得到变换矩阵$M$：
$$ M = (I_n \otimes A) - (B^T \otimes I_m) + ((B^2)^T \otimes A) $$
特征值计算：
已知 $A$的特征值为$\lambda_i$，$B$（及 $B^T$）的特征值为 $\mu_j$。
根据 Kronecker 积的性质，特征值的对应关系为：
- $I_n \otimes A$的特征值为$1 \cdot \lambda_i = \lambda_i$-$B^T \otimes I_m$的特征值为$\mu_j \cdot 1 = \mu_j$-$(B^T)^2 \otimes A$的特征值为$\mu_j^2 \cdot \lambda_i$由于这些项在同一组基（由$A$和$B^T$的特征向量构成的张量积基）下可以同时三角化，因此变换$\mathcal{S}$ 的特征值为：
$$ \lambda'_{ij} = \lambda_i - \mu_j + \lambda_i \mu_j^2, \quad (i=1,\dots,m; \ j=1,\dots,n) $$
3. 对角化证明与特征向量
证明：
前提条件：已知 $A$和$B$可对角化。这意味着$A$有$m$个线性无关的特征向量$\alpha_i$， $B^T$有$n$个线性无关的特征向量$\gamma_j$（注意 $B$可对角化则$B^T$ 亦然，且特征值相同）。
构造变换 $\mathcal{S}$ 的特征向量：
在张量积空间 $M_{m,n}(\mathbb{C})$中，变换$\mathcal{S}$ 的特征向量对应的“矩阵形式”为：
$$ X_{ij} = \alpha_i \beta_j^H \quad (\text{或更简单地记为 } \alpha_i \text{ 与 } B \text{ 的左特征向量的积}) $$
更严谨地说，若 $A\alpha_i = \lambda_i \alpha_i$，且 $\beta_j$是$B$的特征向量（满足$B\beta_j = \mu_j \beta_j$并不直观，这里通常看作$X \beta_j$ 的映射关系）。
结论：
由于我们能构造出 $m \times n$个形如$E_{ij} = \alpha_i \otimes \gamma_j$的线性无关特征向量，而空间$M_{m,n}(\mathbb{C})$的维数恰好也是$mn$，特征向量集构成了空间的一组基。
故 $\mathcal{S}$ 可对角化。
$\mathcal{S}$ 的特征向量（矩阵形式）：
即满足 $\mathcal{S}(X) = \lambda’_{ij} X$的矩阵。若$A \alpha_i = \lambda_i \alpha_i$且$\beta_j^T B = \mu_j \beta_j^T$（即 $\beta_j^T$是$B$ 的左特征向量），则：
$$ X_{ij} = \alpha_i \beta_j^T $$
