09 变分原理、扰动与低秩逼近

1. Rayleigh 商

对 Hermite 矩阵 $A$，定义

$$R_A(x)=\frac{x^{\ast }Ax}{x^{\ast }x}.$$

若特征值升序排列 ${\lambda }_1\le \cdots \le {\lambda }_n$，则

$${\lambda }_1=\underset{x\ne 0}{min}{R}_A(x),{\lambda }_n=\underset{x\ne 0}{max}{R}_A(x).$$

证明只需把 $x$ 展开到标准正交特征基中：Rayleigh 商是特征值的非负加权平均。

2. Courant–Fischer 极小极大原理

第 $k$ 个特征值不仅是某个向量上的极值，也是子空间之间竞争的结果：

$${\lambda }_k=\underset{\dim S=k}{min}\underset{0\ne x\in S}{max}{R}_A(x)=\underset{\dim S=n-k+1}{max}\underset{0\ne x\in S}{min}{R}_A(x).$$

这一定理是交错性、单调性和扰动界的统一来源。

3. 交错与压缩

若 $C$ 是 $A$ 的一个 $(n-1)\times (n-1)$ 主子矩阵，其特征值为 ${\mu }_1\le \cdots \le {\mu }_{n-1}$，则

$${\lambda }_1\le {\mu }_1\le {\lambda }_2\le \cdots \le {\mu }_{n-1}\le {\lambda }_n.$$

更一般地，若 $X^{\ast }X=I$，则 $X^{\ast }AX$ 是 $A$ 在子空间上的压缩，其特征值被 $A$ 的相应特征值夹住。

4. Weyl 与 Hoffman–Wielandt

Hermite 扰动 $E$ 对每个有序特征值的影响满足

$$|{\lambda }_k(A+E)-{\lambda }_k(A)|\le \parallel E{\parallel }_2.$$

全部特征值的平方总误差还满足

$$\sum _{k=1}^n|{\lambda }_k(A+E)-{\lambda }_k(A){|}^2\le \parallel E{\parallel }_F^2.$$

对奇异值也有对应的 Lipschitz 型界。直观上，2-范数控制最坏一个方向，Frobenius 范数控制整体能量。

5. 奇异值的变分刻画

$${\sigma }_1(A)=\underset{\parallel x\parallel =1}{max}\parallel Ax\parallel ,$$

若 $m\ge n$，则

$${\sigma }_n(A)=\underset{\parallel x\parallel =1}{min}\parallel Ax\parallel .$$

更一般的奇异值也有 Courant–Fischer 型极小极大公式。它们把“第 $k$ 强的伸缩方向”变成子空间优化问题。

6. Eckart–Young 最佳低秩逼近

令

$$A_k=\sum _{i=1}^k{\sigma }_i{u}_i{v}_i^{\ast }.$$

那么

$$\underset{\mathrm{rank}(B)\le k}{min}\parallel A-B{\parallel }_2={\sigma }_{k+1},$$$$\underset{\mathrm{rank}(B)\le k}{min}\parallel A-B{\parallel }_F={\left(\sum _{i>k}{\sigma }_i^2\right)}^{1/2}.$$

截断 SVD 因而不是经验做法，而是两个重要范数下的全局最优解。PCA、压缩和降噪都建立在这一点上。

7. 子空间的主角

设 $X,Y$ 的列分别是子空间 $\mathcal{X},\mathcal{Y}$ 的标准正交基。$X^{\ast }Y$ 的奇异值写作

$${\sigma }_i(X^{\ast }Y)=\cos {\theta }_i,0\le {\theta }_1\le \cdots \le \frac{\pi }{2}.$$

${\theta }_i$ 称为主角（经典角）。它只依赖子空间，不依赖所选基。${\theta }_1=0$ 表示存在公共方向；角越接近 $\pi /2$，相应方向越接近正交。

8. 从极小极大到交错与 Weyl

Courant–Fischer 的核心工具是维数公式：若 $S,T\subseteq {\mathbb{C}}^n$ 且

$$\dim S+\dim T>n,$$

则 $S\cap T$ 中必有非零向量。取 $T$ 为前若干个特征向量张成的空间，就能强迫任意足够大的试探子空间与“低谱方向”相交；取后若干个特征向量则得到另一侧界。这就是两个极小极大公式的几何来源。

主子矩阵是把 $A$ 压缩到一个余维为 $1$ 的坐标子空间。试探子空间的维数只改变一维，于是相邻特征值恰好把压缩特征值夹住，这便是交错定理。

对 Hermite 扰动 $E$，任意非零 $x$ 满足

$$R_A(x)+{\lambda }_{min}(E)\le R_{A+E}(x)\le R_A(x)+{\lambda }_{max}(E).$$

把这组逐向量不等式代入 Courant–Fischer，就得到 Weyl 型界；再用 $|R_E(x)|\le \parallel E{\parallel }_2$，便得到第 4 节的 Lipschitz 估计。交错与扰动并非孤立技巧，而是同一个变分原理的两次应用。

9. Hermite 扩张与截断 SVD 的证明

对任意长方形矩阵 $A$，构造 Hermite 矩阵

$$\mathcal{H}(A)=\left(\begin{array}{cc}0& A\\ A^{\ast }& 0\end{array}\right).$$

若 $A{v}_i={\sigma }_i{u}_i$、$A^{\ast }{u}_i={\sigma }_i{v}_i$，则

$$\mathcal{H}(A)\left(\begin{array}{c}{u}_i\\ \pm v_i\end{array}\right)=\pm {\sigma }_i\left(\begin{array}{c}{u}_i\\ \pm v_i\end{array}\right).$$

因此奇异值问题可以嵌入 Hermite 特征值问题，许多特征值扰动定理也就自动产生奇异值版本。

Eckart–Young 的 2-范数证明同样是维数交。若 $\mathrm{rank}(B)\le k$，则 $\ker B$ 的维数至少为 $n-k$；它与 $\mathrm{span}\{v_1,\dots ,v_{k+1}\}$ 必有非零交。取其中单位向量 $x$，则

$$\parallel A-B{\parallel }_2\ge \parallel (A-B)x{\parallel }_2=\parallel Ax{\parallel }_2\ge {\sigma }_{k+1}.$$

截断 SVD $A_k$ 恰好达到这个下界。Frobenius 范数版本则把被删去的互相正交秩一项的能量平方相加。

10. 特征值导数与谱间隙

若 $A(t)=A(t{)}^{\ast }$ 光滑，${\lambda }_i(t)$ 是一个单特征值，$q_i(t)$ 为对应单位特征向量，则对

$$A{q}_i={\lambda }_i{q}_i$$

求导并左乘 $q_i^{\ast }$，利用 $q_i^{\ast }A={\lambda }_i{q}_i^{\ast }$，得到

$${\lambda }_i^{\prime }(t)=q_i(t{)}^{\ast }{A}^{\prime }(t)q_i(t).$$

特征值本身的变化由 $A^{\prime }$ 在该方向上的 Rayleigh 商控制；特征向量的变化还要除以与其他特征值的间隙。因此谱间隙很小时，即使特征值相当稳定，特征向量也可能剧烈转动。主角正是衡量这种子空间转动的自然尺度。

11. 自检

• [ ] 能从谱分解证明 Rayleigh 极值公式。
• [ ] 能用极小极大原理解释特征值交错。
• [ ] 能区分 Weyl 界与 Hoffman–Wielandt 界。
• [ ] 能写出截断 SVD 的两种最优误差。
• [ ] 能用 $X^{\ast }Y$ 的奇异值定义子空间主角。
• [ ] 能解释交错定理与 Weyl 界如何共同来自 Courant–Fischer。
• [ ] 能用维数交证明截断 SVD 的 2-范数最优性。

下一章：仿射几何与行列式。