08 奇异值分解、极分解与 Moore–Penrose 逆

1. SVD 是任意矩阵的正交坐标系

对 $A\in {\mathbb{C}}^{m\times n}$，存在酉矩阵 $U,V$ 与非负对角矩阵 $\mathrm{\Sigma }$ 使

$$A=U\mathrm{\Sigma }{V}^{\ast }.$$

若 $r=\mathrm{rank}(A)$，约化形式为

$$A=U_r{\mathrm{\Sigma }}_r{V}_r^{\ast }=\sum _{i=1}^r{\sigma }_i{u}_i{v}_i^{\ast },$$

其中 ${\sigma }_1\ge \cdots \ge {\sigma }_r>0$。左右奇异向量满足

$$A{v}_i={\sigma }_i{u}_i,A^{\ast }{u}_i={\sigma }_i{v}_i.$$

2. 四个基本子空间

把完整 SVD 写成 $U=[U_r,U_0]$、$V=[V_r,V_0]$，立即得到

$$\mathrm{range}(A)=\mathrm{span}(U_r),$$$$\mathrm{range}(A^{\ast })=\mathrm{span}(V_r),$$$$\ker (A)=\mathrm{span}(V_0),\ker (A^{\ast })=\mathrm{span}(U_0).$$

这把秩-零化度、正交补关系和线性方程的可解性放在同一张图里。

3. Moore–Penrose 广义逆

定义

$$A^{†}=V_r{\mathrm{\Sigma }}_r^{-1}{U}_r^{\ast }.$$

它是唯一满足四个 Penrose 方程的矩阵：

$$A{A}^{†}A=A,A^{†}A{A}^{†}=A^{†},$$$$(A{A}^{†}{)}^{\ast }=A{A}^{†},(A^{†}A{)}^{\ast }=A^{†}A.$$

其中

$$A{A}^{†}=P_{\mathrm{range}(A)},A^{†}A=P_{\mathrm{range}(A^{\ast })}.$$

一般不能随意写 $(AB{)}^{†}=B^{†}{A}^{†}$；需要额外的秩或子空间条件。

4. 最小二乘与最小范数解

问题

$$\underset{x}{min}\parallel Ax-b{\parallel }_2$$

要求残差 $r=b-Ax$ 与 $\mathrm{range}(A)$ 正交，因此满足正规方程

$$A^{\ast }Ax=A^{\ast }b.$$

所有最小二乘解中，

$$x_{\star }=A^{†}b$$

是 2-范数最小者。SVD 比直接解正规方程更清楚地揭示小奇异值带来的不稳定性。

5. 极分解

矩阵的极分解模仿复数 $z=e^{i\theta }|z|$：

$$A=QH,H=(A^{\ast }A{)}^{1/2}⪰0.$$

若 $A$ 为可逆方阵，则 $Q$ 酉且分解唯一；一般情形中 $Q$ 是部分等距算子，在零空间上的延拓可能不唯一。

SVD 直接给出

$$H=V\mathrm{\Sigma }{V}^{\ast },Q=U{V}^{\ast }$$

（方阵满秩情形）。$H$ 负责伸缩，$Q$ 负责保持长度的旋转/反射。

6. SVD 与范数

$$\parallel A{\parallel }_2={\sigma }_1,\parallel A{\parallel }_F=\sqrt{\sum _i{\sigma }_i^2},$$$$\parallel A{\parallel }_{\ast }=\sum _i{\sigma }_i$$

分别对应最大放大率、总能量和核范数。三者都是酉不变范数。

7. SVD 的存在性证明

$A^{\ast }A$ 是 Hermite 半正定矩阵，因此存在酉矩阵 $V$ 使

$$A^{\ast }A=V\mathrm{diag}({\sigma }_1^2,\dots ,{\sigma }_n^2)V^{\ast }.$$

对每个 ${\sigma }_i>0$，令 $u_i=A{v}_i/{\sigma }_i$。则

$$u_i^{\ast }{u}_j=\frac{v_i^{\ast }{A}^{\ast }A{v}_j}{{\sigma }_i{\sigma }_j}={\delta }_{ij}.$$

所以这些 $u_i$ 标准正交；把它们补成 ${\mathbb{C}}^m$ 的标准正交基，就得到 $A=U\mathrm{\Sigma }{V}^{\ast }$。证明中零奇异值方向没有丢失：它们恰好张成 $\ker A$。

8. 一个秩亏矩阵的完整解剖

取

$$A=\left(\begin{array}{ccc}1& 1& 0\\ 0& 0& 0\end{array}\right).$$

唯一非零奇异值为 $\sqrt{2}$，可取

$$u_1=\left(\begin{array}{c}1\\ 0\end{array}\right),v_1=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right).$$

于是

$$A^{†}=\left(\begin{array}{cc}1/2& 0\\ 1/2& 0\\ 0& 0\end{array}\right),$$

并且

$$A{A}^{†}=\left(\begin{array}{cc}1& 0\\ 0& 0\end{array}\right),A^{†}A=\left(\begin{array}{ccc}1/2& 1/2& 0\\ 1/2& 1/2& 0\\ 0& 0& 0\end{array}\right).$$

前者投影到 $\mathrm{span}\{(1,0{)}^T\}$，后者投影到 $\mathrm{span}\{(1,1,0{)}^T\}$。对 $b=(b_1,b_2{)}^T$，最小范数最小二乘解为

$$x_{\star }=A^{†}b=(b_1/2,b_1/2,0{)}^T,$$

全部最小二乘解则是

$$x_{\star }+\alpha (1,-1,0{)}^T+\beta (0,0,1{)}^T.$$

这个算例把四个基本子空间、广义逆、两个投影和最小范数条件同时呈现出来。

9. 极分解中的最近酉矩阵

若 $A=U\mathrm{\Sigma }{V}^{\ast }$ 为可逆方阵的 SVD，则极分解的酉因子为 $Q=U{V}^{\ast }$。对任意酉矩阵 $W$，酉不变性给出

$$\parallel A-W{\parallel }_F^2=\parallel \mathrm{\Sigma }-U^{\ast }WV{\parallel }_F^2.$$

展开平方后，最小化等价于最大化 $\mathrm{Re}\mathrm{tr}(\mathrm{\Sigma }Z)$，其中 $Z=U^{\ast }WV$ 仍酉。因为 $|z_{ii}|\le 1$，最大值在 $Z=I$ 处取得，所以最近的酉矩阵就是 $U{V}^{\ast }$。这也解释了极分解为何常用于把“近似正交”的矩阵校正为真正的正交矩阵。

10. 自检

• [ ] 能从 SVD 读出四个基本子空间。
• [ ] 能解释 $A{A}^{†}$ 与 $A^{†}A$ 各投影到哪里。
• [ ] 能证明 $A^{†}b$ 是最小范数最小二乘解。
• [ ] 能由 SVD 写出极分解。
• [ ] 能从 $A^{\ast }A$ 的谱分解构造 SVD。
• [ ] 能在秩亏算例中区分全部最小二乘解与最小范数解。

下一章：变分原理与矩阵扰动。