02 矩阵运算与矩阵微积分

1. 三种“乘法”解决三类问题

普通矩阵乘法负责线性映射的复合。除此之外，本课常用两种乘积。

Hadamard 积

同型矩阵逐元素相乘：

$$(A\circ B{)}_{ij}=a_{ij}{b}_{ij}.$$

它满足交换律、结合律和分配律，但一般不能和普通矩阵乘法混为一谈。Schur 乘积定理指出：若 $A,B$ 都是 Hermite 半正定矩阵，则 $A\circ B$ 仍半正定。

Kronecker 积

若 $A=(a_{ij})\in {\mathbb{F}}^{m\times n}$，则

$$A\otimes B=(a_{ij}B).$$

它满足混合乘积公式

$$(A\otimes B)(C\otimes D)=AC\otimes BD,$$

前提是维数相容。还有

$$(A\otimes B{)}^T=A^T\otimes B^T.$$

2. 向量化与 Sylvester 方程

把矩阵 $X=[x_1,\dots ,x_n]$ 的列依次堆叠，记为 $\mathrm{vec}(X)$。核心恒等式是

$$\mathrm{vec}(AXB)=(B^T\otimes A)\mathrm{vec}(X).$$

因此 Sylvester 方程

$$AX-XB=C$$

可化为一个普通线性系统：

$$(I\otimes A-B^T\otimes I)\mathrm{vec}(X)=\mathrm{vec}(C).$$

这个改写很重要：矩阵未知量被拉直为向量未知量，Kronecker 积记录了左右乘法。

3. 先约定梯度的形状

矩阵微积分最常见的错误不是求导法则，而是维数错位。本系列采用：

• $f:{\mathbb{R}}^n\to \mathbb{R}$：$\mathrm{\nabla }f(x)\in {\mathbb{R}}^n$ 为列向量。
• $g:{\mathbb{R}}^n\to {\mathbb{R}}^m$：Jacobian $Dg(x)\in {\mathbb{R}}^{m\times n}$。
• $F:{\mathbb{R}}^{m\times n}\to \mathbb{R}$：${\mathrm{\nabla }}_{X}F\in {\mathbb{R}}^{m\times n}$，满足

$$dF=⟨{\mathrm{\nabla }}_{X}F,dX{⟩}_F=\mathrm{tr}(({\mathrm{\nabla }}_{X}F{)}^{T}dX).$$

“先写微分，再把 $dX$ 收到迹的最后”通常比逐元素求导可靠。

4. 常用公式与推导方式

二次型

$$f(x)=x^{T}Ax⟹\mathrm{\nabla }f(x)=(A+A^T)x.$$

若 $A=A^T$，则 $\mathrm{\nabla }f=2Ax$，Hessian 为 $2A$。

迹形式

令 $F(X)=\mathrm{tr}(X^{T}AX)$。由

$$dF=\mathrm{tr}(d{X}^{T}AX)+\mathrm{tr}(X^{T}AdX)$$

以及迹的循环性质，得到

$${\mathrm{\nabla }}_{X}F=(A+A^T)X.$$

最小二乘

$$f(x)=\frac{1}{2}\parallel Ax-b{\parallel }_2^2⟹\mathrm{\nabla }f(x)=A^T(Ax-b).$$

驻点满足正规方程 $A^{T}Ax=A^{T}b$。第 8 章会用 SVD 解释其几何意义与退化情形。

5. 链式法则的维数检查

若 $h(x)=f(g(x))$，$g:{\mathbb{R}}^n\to {\mathbb{R}}^m$，则

$$\mathrm{\nabla }h(x)=Dg(x{)}^T\mathrm{\nabla }f(g(x)).$$

右侧维数为 $(n\times m)(m\times 1)=n\times 1$。每次推导都做这一步，能提前排除大量转置错误。

6. Schur 乘积定理为什么成立

若 $A,B⪰0$，可将它们写成 Gram 矩阵

$$a_{ij}=⟨x_i,x_j⟩,b_{ij}=⟨y_i,y_j⟩.$$

于是

$$(A\circ B{)}_{ij}=⟨x_i,x_j⟩⟨y_i,y_j⟩=⟨x_i\otimes y_i,x_j\otimes y_j⟩.$$

$A\circ B$ 因而也是一组向量的 Gram 矩阵，所以半正定。这个证明把 Hadamard 积与 Kronecker 积连在了一起：逐元素相乘可以在张量积空间中解释为普通内积。

7. Sylvester 方程的谱分离条件

将 $AX-XB=C$ 向量化后，系数矩阵为

$$K=I\otimes A-B^T\otimes I.$$

$K$ 的特征值是所有差 ${\lambda }_i(A)-{\lambda }_j(B)$。因此方程对每个 $C$ 都有唯一解，当且仅当

$$\sigma (A)\cap \sigma (B)=\varnothing .$$

对角情形能直接看清这个结论。若 $A=\mathrm{diag}(a_i)$、$B=\mathrm{diag}(b_j)$，则

$$(a_i-b_j)x_{ij}=c_{ij},x_{ij}=\frac{c_{ij}}{a_i-b_j}.$$

某个 $a_i=b_j$ 时，相应方程可能矛盾，也可能留下自由变量；无解和多解都会出现。

8. 两个常用的矩阵微分

由恒等式 $X{X}^{-1}=I$ 取微分，得到

$$d(X^{-1})=-X^{-1}(dX)X^{-1}.$$

若 $X\succ 0$，Jacobi 公式给出

$$d\log detX=\mathrm{tr}(X^{-1}dX),{\mathrm{\nabla }}_X\log detX=X^{-T}.$$

进一步，若 $F(X)=\mathrm{tr}(C{X}^{-1})$，则

$$dF=-\mathrm{tr}(X^{-1}C{X}^{-1}dX),{\mathrm{\nabla }}_{X}F=-X^{-T}{C}^T{X}^{-T}.$$

推导时始终先写微分，再利用 $\mathrm{tr}(ABC)=\mathrm{tr}(BCA)$ 把 $dX$ 移到最后，转置位置就不容易出错。

9. 自检

• [ ] 能写出 $\mathrm{vec}(AXB)$ 的公式并检查维数。
• [ ] 能把 Sylvester 方程化为线性系统。
• [ ] 能用微分法推导 ${\mathrm{\nabla }}_X\mathrm{tr}(X^{T}AX)$。
• [ ] 不混淆 Jacobian、梯度与它们的转置。
• [ ] 能用 Gram 矩阵证明 Schur 乘积定理。
• [ ] 能用谱分离判断 Sylvester 方程是否唯一可解。

下一章：向量范数与矩阵范数。