07 内积空间、正交投影与 QR 分解

1. 内积同时编码长度和角度

复内积空间中，内积满足正定性、第二变量线性和共轭对称：

$$⟨x,y⟩=\overline{⟨y,x⟩}.$$

本系列采用 $⟨x,y⟩=x^{\ast }y$，即对第一变量共轭线性、第二变量线性；若教材采用相反约定，只需统一共轭位置。

内积诱导范数 $\parallel x\parallel =\sqrt{⟨x,x⟩}$。Cauchy–Schwarz 不等式

$$|⟨x,y⟩|\le \parallel x\parallel \parallel y\parallel$$

既保证角度定义有意义，也推出三角不等式。

2. 正交补与投影

对子空间 $W\subseteq V$，

$$W^{\perp }=\{x:⟨x,w⟩=0,\mathrm{\forall }w\in W\}.$$

有限维时

$$V=W\oplus W^{\perp }.$$

因此每个 $x$ 唯一分解为 $x=w+r$，其中 $w\in W,r\in W^{\perp }$。$w$ 就是 $x$ 在 $W$ 上的正交投影，也是最小化 $\parallel x-y\parallel$ 的唯一点。

若 $Q$ 的列构成 $W$ 的标准正交基，则

$$P_W=Q{Q}^{\ast },P_W^2=P_W=P_W^{\ast }.$$

3. Gram 矩阵

向量组 $v_1,\dots ,v_k$ 的 Gram 矩阵为

$$G=(⟨v_i,v_j⟩{)}_{i,j}=V^{\ast }V.$$

$G⪰0$，且 $G\succ 0$ 当且仅当向量组线性无关。因而“线性无关”可以转化为一个正定性问题。

4. Gram–Schmidt 与 QR

对线性无关向量 $a_1,\dots ,a_n$，依次减去已有方向上的投影：

$$u_k=a_k-\sum _{j<k}{q}_j{q}_j^{\ast }{a}_k,q_k=\frac{u_k}{\parallel u_k\parallel }.$$

把 $q_k$ 组成矩阵 $Q$，得到

$$A=QR,Q^{\ast }Q=I,$$

其中 $R$ 为上三角矩阵。约化 QR 用 $Q\in {\mathbb{C}}^{m\times n}$；完整 QR 则把 $Q$ 补成 $m\times m$ 酉矩阵。

数值计算中，经典 Gram–Schmidt 可能丧失正交性；改进 Gram–Schmidt 或 Householder 反射更稳定。

5. Riesz 表示与伴随

有限维内积空间上，每个线性泛函 $f$ 都能唯一写成

$$f(x)=⟨y,x⟩$$

（具体次序取决于内积约定）。这就是 Riesz 表示定理。

线性算子 $T$ 的伴随 $T^{\ast }$ 由

$$⟨Tx,y⟩=⟨x,T^{\ast }y⟩$$

唯一确定。在标准坐标下就是共轭转置矩阵。

6. 酉算子、Hermite 算子与正规算子

• 酉：$U^{\ast }U=I$，保持内积与范数。
• Hermite：$A^{\ast }=A$，特征值为实数。
• 正规：$A^{\ast }A=A{A}^{\ast }$。

谱定理给出关键等价：复矩阵 $A$ 正规，当且仅当它可被酉矩阵对角化。

$$A=Q\mathrm{\Lambda }{Q}^{\ast }.$$

Hermite、酉、斜 Hermite 矩阵都是正规矩阵的特殊情形。

7. 投影定理的勾股证明

设 $p=P_{W}x$，则对任意 $y\in W$，有 $p-y\in W$、$x-p\in W^{\perp }$，于是

$$\parallel x-y{\parallel }^2=\parallel (x-p)+(p-y){\parallel }^2=\parallel x-p{\parallel }^2+\parallel p-y{\parallel }^2.$$

所以 $y=p$ 时距离唯一最小。正规方程、最小二乘与条件期望中的“最佳逼近”都来自同一个正交分解。

在非标准内积 $⟨x,y{⟩}_G=x^{\ast }Gy$（$G\succ 0$）下，投影矩阵不再是 $Q(Q^{\ast }Q{)}^{-1}{Q}^{\ast }$，而是

$$P=Q(Q^{\ast }GQ{)}^{-1}{Q}^{\ast }G.$$

它满足 $P^2=P$，并关于 $G$-内积自伴，即 $GP=P^{\ast }G$。

8. 一个手算 QR 例子

令

$$A=\left(\begin{array}{cc}1& 1\\ 1& 0\\ 0& 1\end{array}\right).$$

Gram–Schmidt 给出

$$q_1=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right),q_2=\frac{1}{\sqrt{6}}\left(\begin{array}{c}1\\ -1\\ 2\end{array}\right),$$

因此

$$A=QR,R=\left(\begin{array}{cc}\sqrt{2}& 1/\sqrt{2}\\ 0& \sqrt{6}/2\end{array}\right).$$

$R$ 的元素就是 $r_{ij}=q_i^{\ast }{a}_j$；其上三角结构来自第 $j$ 列只需减去此前 $j-1$ 个方向。这个例子也可直接验证 $Q^{\ast }Q=I$ 与 $Q^{\ast }A=R$。

9. 正规矩阵谱定理的证明骨架

由 Schur 分解，存在酉矩阵 $Q$ 使 $Q^{\ast }AQ=T$ 为上三角矩阵。正规性在酉相似下保持，所以 $T$ 也正规。比较 $T^{\ast }T$ 与 $T{T}^{\ast }$ 的第一个对角元：

$$|t_{11}{|}^2=|t_{11}{|}^2+\sum _{j>1}|t_{1j}{|}^2,$$

从而第一行的非对角元全为零。对右下子块归纳，得到 $T$ 必为对角矩阵。于是正规矩阵可酉对角化；反方向则由对角矩阵显然正规立即得到。

在实数域中，实正规矩阵未必能实对角化，但能正交块对角化为 $1\times 1$ 实块和 $2\times 2$ 旋转伸缩块。

10. 自检

• [ ] 能从正交分解证明投影是最佳逼近。
• [ ] 能由 $P^2=P=P^{\ast }$ 识别正交投影。
• [ ] 能解释 QR 与 Gram–Schmidt 的对应关系。
• [ ] 能说出正规矩阵与酉对角化的等价性。
• [ ] 能用勾股恒等式证明正交投影的最佳逼近性。
• [ ] 能复述“Schur 上三角 + 正规推出对角”的证明。

下一章：奇异值分解与广义逆。