第 7 章：参数估计（Estimation）

四大板块：

1. 最大似然估计（MLE）
2. 区间估计（置信区间）
3. 估计量的性质（无偏性、有效性）
4. Fisher 信息矩阵与 Cramér–Rao 下界

---

0. 什么是"参数估计"？先把问题讲清楚

在统计学里，我们通常假设数据来自某个带未知参数的分布。比如：

• 抛硬币：$X\sim \text{Bernoulli}(p)$，参数 $p$ 未知
• 顾客到达数：$X\sim \text{Poisson}(\lambda )$，参数 $\lambda$ 未知
• 测量误差：$X\sim \mathcal{N}(\mu ,{\sigma }^2)$，参数 $\mu ,{\sigma }^2$ 未知

参数估计要回答的问题：拿到一组样本 $X_1,X_2,\dots ,X_n$ 之后，怎样用这些数据猜出未知参数的值？ 估计又分两种：

• 点估计：给出一个具体的数字，比如 $\hat{p}=0.6$
• 区间估计：给出一个区间，比如 $p\in [0.55,0.65]$，并说明"我有 95% 把握"

---

1. 最大似然估计（Maximum Likelihood Estimation, MLE）

1.1 直觉：抛三次硬币的例子

假设一枚硬币正面概率为 $p$（未知）。你抛了 3 次，结果是 HHT（正正反）。问：$p$ 最有可能是多少？

设 $X=1$ 表示正面，$X=0$ 表示反面，则 $P(X=k)=p^k(1-p{)}^{1-k}$。

观察到 $X_1=1,X_2=1,X_3=0$，这个序列出现的概率是：

$$P(\text{HHT})=p\cdot p\cdot (1-p)=p^2(1-p)$$

关键思想：既然这件事真的发生了，那就找一个 $p$ 让这件事发生的概率最大。

对 $p^2(1-p)$ 求导：

$$\frac{d}{dp}[p^2(1-p)]=2p(1-p)-p^2=p(2-3p)$$

令其为 0，得 $p=2/3$。

这就是最大似然的核心思想：找让已发生数据出现概率最大的参数值。

1.2 似然函数的定义

定义：给定样本 $y_1,y_2,\dots ,y_n$ 独立同分布（i.i.d.）来自 pdf $f_Y(y;\theta )$，似然函数定义为：

$$L(\theta )=\prod _{i=1}^n{f}_Y(y_i;\theta )$$

（离散情形把 $f$ 换成 $p_X$ 即可。）

⚠ 注意：似然函数 $L(\theta )$ 是 $\theta$ 的函数，数据 $y_i$ 是已经知道的、固定的常数！这是最容易混淆的地方。

最大似然估计量（MLE） $\tilde{\theta }$ 就是使 $L(\theta )$ 取最大值的那个 $\theta$：

$$\tilde{\theta }=\arg \underset{\theta }{max}L(\theta )$$

1.3 求解套路（标准流程）

由于连乘的求导很麻烦，通常先取对数（对数是单调函数，不改变最大值位置）：

步骤 1：写出似然函数 $L(\theta )=\prod f(y_i;\theta )$步骤 2：取对数得对数似然 $\ell (\theta )=\ln L(\theta )=\sum \ln f(y_i;\theta )$步骤 3：求导 $\frac{d\ell }{d\theta }$，令其为 0，解出 $\tilde{\theta }$步骤 4（可选）：验证二阶导 $<0$，确认是最大值

1.4 例 1：Poisson 分布

题目：$X_1=3,X_2=5,X_3=4,X_4=2$，$X\sim \text{Poisson}(\lambda )$，求 $\lambda$ 的 MLE。

Poisson 分布：$p_X(k;\lambda )={\displaystyle \frac{e^{-\lambda }{\lambda }^k}{k!}}$

第一步：写似然

$$L(\lambda )=\prod _{i=1}^4\frac{e^{-\lambda }{\lambda }^{k_i}}{k_i!}=e^{-4\lambda }\cdot {\lambda }^{3+5+4+2}\cdot \frac{1}{3!5!4!2!}=e^{-4\lambda }{\lambda }^{14}\cdot C$$

（其中 $C$ 是和 $\lambda$ 无关的常数）

第二步：取对数

$$\ell (\lambda )=-4\lambda +14\ln \lambda +\ln C$$

第三步：求导

$$\frac{d\ell }{d\lambda }=-4+\frac{14}{\lambda }=0⟹\tilde{\lambda }=\frac{14}{4}=3.5$$

推广：对 i.i.d. 样本 $k_1,\dots ,k_n$，可推出

$$\boxed{{\displaystyle \tilde{\lambda }=\frac{1}{n}\sum _{i=1}^n{k}_i=\overline{k}}}$$

即样本均值——这和我们直觉一致（Poisson 的期望就是 $\lambda$）。

1.5 例 2：双参数指数（备用设备故障时间）

题目：两个独立指数设备之和 $f_Y(y;\theta )={\displaystyle \frac{1}{{\theta }^2}}y{e}^{-y/\theta }$（Gamma(2,$1/\theta$)），样本 9.2, 5.6, 18.4, 12.1, 10.7，求 $\tilde{\theta }$。

似然：

$$L(\theta )=\prod _{i=1}^n\frac{1}{{\theta }^2}{y}_i{e}^{-y_i/\theta }={\theta }^{-2n}(\prod y_i)e^{-\frac{1}{\theta }\sum y_i}$$

对数似然：

$$\ell (\theta )=-2n\ln \theta +\ln \prod y_i-\frac{1}{\theta }\sum y_i$$

求导并令为 0：

$$\frac{d\ell }{d\theta }=-\frac{2n}{\theta }+\frac{1}{{\theta }^2}\sum y_i=0⟹\tilde{\theta }=\frac{1}{2n}\sum _{i=1}^n{y}_i$$

代入数据：$\sum y_i=56$，$n=5$，所以 $\tilde{\theta }=56/(10)=5.6$。

1.6 例 3：顺序统计量情形（导数不起作用！）

重点：不是所有 MLE 都能靠求导解出来。

当 pdf 的定义域与参数 $\theta$ 有关时（比如 $0\le y\le \theta$ 这种），求导往往无法求解。

题目：$f_Y(y;\theta )=e^{-(y-\theta )},y\ge \theta$，求 $\tilde{\theta }$。

似然：

$$L(\theta )=\prod _{i=1}^n{e}^{-(y_i-\theta )}=e^{-\sum y_i+n\theta }$$

求导？${\displaystyle \frac{d\ell }{d\theta }}=n$，永远等于 $n\ne 0$，解不出来！

改用直接观察：$L(\theta )$ 随 $\theta$ 单调递增，所以 $\theta$ 越大越好。但 pdf 有约束 $y_i\ge \theta$，即 $\theta \le min{y}_i$。

因此：

$$\boxed{{\displaystyle \tilde{\theta }=y_{min}}}$$

记住：定义域含参数时 → 别求导，看范围约束 → MLE 往往是 $y_{min}$ 或 $y_{max}$。

1.7 多参数情形：Normal 分布

题目：$Y_1,\dots ,Y_n$ i.i.d. $\sim \mathcal{N}(\mu ,{\sigma }^2)$，求 $\tilde{\mu },\widetilde{{\sigma }^2}$。

对数似然：

$$\ell (\mu ,{\sigma }^2)=-\frac{n}{2}\ln (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum (y_i-\mu {)}^2$$

对 $\mu$ 求偏导：

$$\frac{\partial \ell }{\partial \mu }=\frac{1}{{\sigma }^2}\sum (y_i-\mu )=0⟹\tilde{\mu }=\overline{y}$$

对 ${\sigma }^2$ 求偏导：

$$\frac{\partial \ell }{\partial {\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum (y_i-\mu {)}^2=0$$

代入 $\tilde{\mu }=\overline{y}$：

$$\boxed{{\displaystyle \widetilde{{\sigma }^2}=\frac{1}{n}\sum _{i=1}^n(y_i-\overline{y}{)}^2}}$$

⚠ 注意分母是 $n$，不是 $n-1$！—— 后面会证明这是有偏估计，需要用 ${\displaystyle \frac{n}{n-1}}$ 修正成样本方差 $S^2$。

---

1.8 矩估计法（Method of Moments, MoM）

MLE 很好用，但有时候（比如 Gamma 分布里涉及 $\mathrm{\Gamma }(r)$）对数似然没法闭式求解。这时可用矩估计。

核心思想：理论矩 = 样本矩。

对有 $s$ 个参数的分布，让理论前 $s$ 阶矩等于样本前 $s$ 阶矩：

$$\{\begin{array}{l}E(Y)={\displaystyle \frac{1}{n}}\sum y_i\\ E(Y^2)={\displaystyle \frac{1}{n}}\sum y_i^2\\ ⋮\\ E(Y^s)={\displaystyle \frac{1}{n}}\sum y_i^s\end{array}$$

解这个方程组就得到 ${\tilde{\theta }}_1,\dots ,{\tilde{\theta }}_s$。

例：$f_Y(y;\theta )=\theta y^{\theta -1},0\le y\le 1$

只有 1 个参数，所以只需要 1 阶矩。

$$E(Y)={\int }_0^{1}y\cdot \theta y^{\theta -1}dy=\frac{\theta }{\theta +1}$$

令其 $=\overline{y}$：

$$\frac{\theta }{\theta +1}=\overline{y}⟹\tilde{\theta }=\frac{\overline{y}}{1-\overline{y}}$$

代入数据（0.42, 0.10, 0.65, 0.23），$\overline{y}=0.35$，所以 $\tilde{\theta }=0.35/0.65\approx 0.54$。

例：Gamma 分布

$f_Y(y;r,\lambda )={\displaystyle \frac{{\lambda }^r}{\mathrm{\Gamma }(r)}}{y}^{r-1}{e}^{-\lambda y}$，MLE 难求，用 MoM：

已知 $E(Y)=r/\lambda$，$\text{Var}(Y)=r/{\lambda }^2$，所以 $E(Y^2)=\text{Var}+E^2=r(r+1)/{\lambda }^2$。

联立：

$$\overline{y}=\frac{r}{\lambda },\frac{1}{n}\sum y_i^2=\frac{r(r+1)}{{\lambda }^2}$$

解出：

$$\tilde{\lambda }=\frac{\sum y_i}{\sum y_i^2-\frac{1}{n}(\sum y_i{)}^2},\tilde{r}=\overline{y}\cdot \tilde{\lambda }$$

---

2. 区间估计（Interval Estimation）

2.1 为什么要区间估计？

点估计给出一个具体数字，但没说它"多准"。比如 $\tilde{\lambda }=6.8$，真实值可能是 6.7？6.9？还是 5.0？我们不知道！

区间估计：给出一个范围，并声明"有 $100(1-\alpha )\mathrm{\%}$ 的把握真值落在里面"。

2.2 正态总体均值的置信区间（已知 $\sigma$）

例：数据 6.5, 9.2, 9.9, 12.4，$Y\sim \mathcal{N}(\mu ,{0.8}^2)$，求 $\mu$ 的 95% CI。

关键工具：

$$Z=\frac{\overline{Y}-\mu }{\sigma /\sqrt{n}}\sim \mathcal{N}(0,1)$$

因此：

$$P(-1.96\le \frac{\overline{Y}-\mu }{0.8/\sqrt{4}}\le 1.96)=0.95$$

"反转"这个概率（把 $\mu$ 解出来）：

$$P(\overline{Y}-1.96\cdot \frac{0.8}{\sqrt{4}}\le \mu \le \overline{Y}+1.96\cdot \frac{0.8}{\sqrt{4}})=0.95$$

代入 $\overline{y}=9.5$，得到 CI：

$$(9.5-0.784,9.5+0.784)=(8.72,10.28)$$

解读：我们有 95% 的把握说真实均值 $\mu$ 在 (8.72, 10.28) 之间。

⚠ 严格地说：不是"$\mu$ 有 95% 的概率在这个区间里"（$\mu$ 是固定的数！），而是"这种造区间的方法，长期重复使用 95% 的区间会包含真值"。

2.3 二项分布参数 $p$ 的置信区间

$X\sim \text{Binomial}(n,p)$，$n$ 很大时由 CLT：

$$\frac{X/n-p}{\sqrt{\frac{(X/n)(1-X/n)}{n}}}\approx \mathcal{N}(0,1)$$

定理：$p$ 的 $100(1-\alpha )\mathrm{\%}$ 近似 CI 为

$$\boxed{{\displaystyle [\frac{k}{n}-z_{\alpha /2}\sqrt{\frac{(k/n)(1-k/n)}{n}},\frac{k}{n}+z_{\alpha /2}\sqrt{\frac{(k/n)(1-k/n)}{n}}]}}$$

例：Gallup 调查 1012 人，810 支持，$\hat{p}=810/1012=0.800$，95% CI：

$$0.800\pm 1.96\sqrt{\frac{0.8\times 0.2}{1012}}\approx (0.776,0.825)$$

2.4 误差范围（Margin of Error, MOE）

注意到 CI 宽度：

$$w=2z_{\alpha /2}\sqrt{\frac{(k/n)(1-k/n)}{n}}$$

由于 $(k/n)(1-k/n)\le 1/4$（算术-几何均值），所以：

$$w_{max}=2z_{\alpha /2}\sqrt{\frac{1}{4n}}=\frac{z_{\alpha /2}}{\sqrt{n}}$$

定义：95% CI 的误差范围为

$$\boxed{{\displaystyle d=\frac{1.96}{2\sqrt{n}}}}$$

这就是新闻里常说的"误差 ±3%""±4%"的由来。

例：$n=597$，$d=1.96/(2\sqrt{597})\approx 0.040=4\mathrm{\%}$。✓

重要理解：MOE 只和 $n$ 有关，和民调结果 $k/n$ 无关！

2.5 样本量的确定

问题：想让 $|X/n-p|\le d$ 的概率至少为 $1-\alpha$，$n$ 要多大？

定理：

$$\boxed{{\displaystyle n\ge \frac{z_{\alpha /2}^2}{4d^2}}}$$

推导：由 ${\displaystyle \frac{d}{\sqrt{p(1-p)/n}}}=z_{\alpha /2}$ 得 $n={\displaystyle \frac{z_{\alpha /2}^{2}p(1-p)}{d^2}}$。取最坏情况 $p(1-p)=1/4$，即得。

例：要求 98% 把握误差不超过 0.05。$z_{0.01}=2.33$，所以

$$n=\frac{{2.33}^2}{4\times {0.05}^2}\approx 543$$

---

3. 估计量的性质

同一个参数，可能有多个估计量。哪个更好？两大标准：无偏性 + 有效性。

3.1 无偏性（Unbiasedness）

定义：估计量 $\hat{\theta }$ 称为无偏的，若

$$E(\hat{\theta })=\theta ,\mathrm{\forall }\theta$$

直观：平均来说，$\hat{\theta }$ 恰好等于真值，没有系统性偏差。

例 1：$f_Y(y;\theta )=2y/{\theta }^2,0\le y\le \theta$

考虑两个估计量：

• ${\hat{\theta }}_1={\displaystyle \frac{3}{2}}\overline{Y}$
• ${\hat{\theta }}_2=Y_{max}$

计算 $E(Y)={\int }_0^{\theta }y\cdot \frac{2y}{{\theta }^2}dy=\frac{2}{3}\theta$

${\hat{\theta }}_1$ 是否无偏？

$$E({\hat{\theta }}_1)=\frac{3}{2}E(\overline{Y})=\frac{3}{2}\cdot \frac{2}{3}\theta =\theta ✓$$

${\hat{\theta }}_2$ 是否无偏？

$Y_{max}$ 的 pdf：$f_{Y_{max}}(y)=n[F(y){]}^{n-1}f(y)$，其中 $F(y)=y^2/{\theta }^2$。

$$f_{Y_{max}}(y)=n\cdot {\left(\frac{y^2}{{\theta }^2}\right)}^{n-1}\cdot \frac{2y}{{\theta }^2}=\frac{2n}{{\theta }^{2n}}{y}^{2n-1}$$$$E(Y_{max})={\int }_0^{\theta }y\cdot \frac{2n}{{\theta }^{2n}}{y}^{2n-1}dy=\frac{2n}{2n+1}\theta$$

所以 ${\hat{\theta }}_2$ 有偏！但是 $\underset{n\to \mathrm{\infty }}{lim}\frac{2n}{2n+1}\theta =\theta$，称为渐近无偏。

例 2：$n{\overline{Y}}^2$ 对应的无偏方差（重要！）

$Y_1,\dots ,Y_n\sim \mathcal{N}(\mu ,{\sigma }^2)$。MLE 给出 ${\hat{\sigma }}^2={\displaystyle \frac{1}{n}}\sum (Y_i-\overline{Y}{)}^2$。

是否无偏？

$$E({\hat{\sigma }}^2)=\frac{1}{n}E[\sum Y_i^2-n{\overline{Y}}^2]=\frac{1}{n}[n({\sigma }^2+{\mu }^2)-n(\frac{{\sigma }^2}{n}+{\mu }^2)]=\frac{n-1}{n}{\sigma }^2$$

所以 ${\hat{\sigma }}^2$ 是有偏的，偏向低估！

修正：乘以 ${\displaystyle \frac{n}{n-1}}$：

$$\boxed{{\displaystyle S^2=\frac{1}{n-1}\sum _{i=1}^n(Y_i-\overline{Y}{)}^2}}$$

这就是为什么样本方差分母是 $n-1$，而非 $n$。

3.2 有效性（Efficiency）

两个估计量都无偏时，谁的方差更小，谁就更"有效"（估计更集中在真值附近）。

定义：若 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 都是 $\theta$ 的无偏估计，且 $\text{Var}({\hat{\theta }}_1)<\text{Var}({\hat{\theta }}_2)$，则 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 更有效。

相对有效性：${\displaystyle \frac{\text{Var}({\hat{\theta }}_2)}{\text{Var}({\hat{\theta }}_1)}}$。

例：正态均值的两个估计

$Y_1,Y_2,Y_3\sim \mathcal{N}(\mu ,{\sigma }^2)$ i.i.d.

• ${\hat{\mu }}_1=\frac{1}{4}{Y}_1+\frac{1}{2}{Y}_2+\frac{1}{4}{Y}_3$
• ${\hat{\mu }}_2=\frac{1}{3}{Y}_1+\frac{1}{3}{Y}_2+\frac{1}{3}{Y}_3$（即 $\overline{Y}$）

两者都无偏（系数和为 1）。比方差：

$$\text{Var}({\hat{\mu }}_1)=(\frac{1}{16}+\frac{1}{4}+\frac{1}{16}){\sigma }^2=\frac{3}{8}{\sigma }^2$$$$\text{Var}({\hat{\mu }}_2)=\frac{1}{3}{\sigma }^2=\frac{3}{9}{\sigma }^2$$

由于 $3/9<3/8$，所以 ${\hat{\mu }}_2=\overline{Y}$ 更有效。

一般结论：对 $\overline{Y}=\sum a_i{Y}_i$（$\sum a_i=1$，保证无偏），由 Cauchy–Schwarz，$\text{Var}$ 的最小值在 $a_i=1/n$ 时取到。即算术平均是最有效的线性无偏估计。

---

4. Fisher 信息矩阵与 Cramér–Rao 下界

这是本章的理论巅峰，回答一个根本问题：一个无偏估计量的方差能小到什么程度？

4.1 直觉：信息 = 数据告诉我们参数的"多少"

考虑对数似然 $\ell (\theta )=\ln f(X;\theta )$：

• 如果 $\ell$ 在真值附近非常"尖"（二阶导很负），说明数据对 $\theta$ 反应灵敏 → 信息量大
• 如果 $\ell$ 很"平"，说明稍微移动 $\theta$ 对似然几乎没影响 → 信息量小

4.2 Fisher 信息（单参数）

定义：

$$I(\theta )=E\left[{(\frac{\partial }{\partial \theta }\ln f(X;\theta ))}^2\right]$$

这个东西叫得分函数(score)的方差。

等价形式（在正则性条件下，即积分/求导可换序）：

$$\boxed{{\displaystyle I(\theta )=-E[\frac{{\partial }^2}{\partial {\theta }^2}\ln f(X;\theta )]}}$$

这个形式更直观：对数似然的曲率期望 = 信息量。曲率越大（二阶导越负），信息越多。

4.3 多参数：Fisher 信息矩阵

$\theta =({\theta }_1,\dots ,{\theta }_k)$，定义

$$I(\theta )=E\left[\left(\frac{\partial \ln f}{\partial \theta }\right){\left(\frac{\partial \ln f}{\partial \theta }\right)}^{\mathrm{\top }}\right]$$

等价地：

$$I(\theta )=-E\left[\frac{{\partial }^2\ln f}{\partial \theta \partial {\theta }^{\mathrm{\top }}}\right]$$

（这是一个 $k\times k$ 矩阵，元素为 $I_{ij}(\theta )=-E[{\partial }^2\ell /\partial {\theta }_i\partial {\theta }_j]$。）

4.4 参数变换下的信息

若 $\theta =\psi (\eta )$ 且 $\psi$ 可微，则 $X$ 关于 $\eta$ 的 Fisher 信息为

$$I_{\eta }(\eta )=\left(\frac{\partial \psi }{\partial \eta }\right)I(\psi (\eta )){\left(\frac{\partial \psi }{\partial \eta }\right)}^{\mathrm{\top }}$$

这就是信息随参数化的链式法则。

4.5 Cramér–Rao 下界（CRLB）

定理：设 $T(X)$ 是参数 $\theta$ 的估计量，$E[T(X)]=g(\theta )$ 可微。在正则性条件下：

$$\boxed{{\displaystyle \text{Var}(T(X))\ge {\left(\frac{\partial g}{\partial \theta }\right)}^{\mathrm{\top }}[I(\theta ){]}^{-1}\left(\frac{\partial g}{\partial \theta }\right)}}$$

特例：若 $T$ 是 $\theta$ 的无偏估计（即 $g(\theta )=\theta$，$k=1$）：

$$\boxed{{\displaystyle \text{Var}(T)\ge \frac{1}{I(\theta )}}}$$

物理含义：任何无偏估计量的方差都不可能小于 $1/I(\theta )$。

• 所以 $I(\theta )$ 越大，方差下界越小，我们能做得越好
• 如果某个无偏估计达到了 CRLB，它就是最有效的（称为有效估计量）

4.6 证明思路（一维情形）

要证：$\text{Var}(T)\ge [g^{\prime }(\theta ){]}^2/I(\theta )$。

关键等式：

1. $E\left[\frac{\partial \ln f}{\partial \theta }\right]=0$（得分函数均值为 0）

   推导：$\int \frac{\partial \ln f}{\partial \theta }fdx=\int \frac{\partial f}{\partial \theta }dx=\frac{\partial }{\partial \theta }\int fdx=0$。

2. 由 1 知 $E\left[{\left(\frac{\partial \ln f}{\partial \theta }\right)}^2\right]=\text{Var}\left(\frac{\partial \ln f}{\partial \theta }\right)=I(\theta )$。

3. $g^{\prime }(\theta )=\text{Cov}(T,\frac{\partial \ln f}{\partial \theta })$。

   推导：

   $$g^{\prime }(\theta )=\frac{\partial }{\partial \theta }\int T(x)f(x;\theta )dx=\int T(x)\frac{\partial f}{\partial \theta }dx=\int T(x)\frac{\partial \ln f}{\partial \theta }fdx=E[T\cdot \frac{\partial \ln f}{\partial \theta }]$$

   再减去 $E(T)\cdot E[\partial \ln f/\partial \theta ]=0$，就得到 Cov。

4. 用 Cauchy–Schwarz：

   $$[\text{Cov}(T,S){]}^2\le \text{Var}(T)\text{Var}(S)$$

   即 $[g^{\prime }(\theta ){]}^2\le \text{Var}(T)\cdot I(\theta )$，整理得证。

4.7 指数族的特别结论

命题：若 $f_{\theta }(x)=\exp \{\eta (\theta {)}^{\mathrm{\top }}T(x)-\xi (\theta )\}h(x)$ 是指数族。

1. 正则性条件自动满足
2. 若 $I(\eta )$ 是关于自然参数 $\eta$ 的 Fisher 信息矩阵，则 $\text{Var}(T)=I(\eta )$
3. 若 $\overline{I}(\vartheta )$ 是关于 $\vartheta =E[T(X)]$ 的 Fisher 信息，则 $\text{Var}(T)=[\overline{I}(\vartheta ){]}^{-1}$

结论：指数族里的充分统计量 $T(X)$ 的方差恰好等于/就是 Fisher 信息的逆，达到 CRLB！

4.8 例：正态均值 $\mu$（已知 ${\sigma }^2$）

$X_1,\dots ,X_n\sim \mathcal{N}(\mu ,{\sigma }^2)$ i.i.d.

$$\ln f_{\mu }(X)=-\frac{n}{2}\ln (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum (X_i-\mu {)}^2$$$$\frac{\partial }{\partial \mu }\ln f=\frac{1}{{\sigma }^2}\sum (X_i-\mu )$$$$\frac{{\partial }^2}{\partial {\mu }^2}\ln f=-\frac{n}{{\sigma }^2}$$

所以 $I(\mu )=n/{\sigma }^2$，CRLB $={\sigma }^2/n$。

而 $\overline{X}$ 是无偏估计，$\text{Var}(\overline{X})={\sigma }^2/n$，正好达到下界 → $\overline{X}$ 是 $\mu$ 的 UMVUE（一致最小方差无偏估计）。

4.9 例：估计 $\vartheta ={\mu }^2$

$E[{\overline{X}}^2]={\mu }^2+{\sigma }^2/n$，所以无偏估计为 $h(\overline{X})={\overline{X}}^2-{\sigma }^2/n$。

可算得

$$\text{Var}(h(\overline{X}))=\frac{4{\mu }^2{\sigma }^2}{n}+\frac{2{\sigma }^4}{n^2}$$

由链式法则 CRLB（$g(\mu )={\mu }^2$，$g^{\prime }(\mu )=2\mu$）：

$$\text{CRLB}=\frac{[g^{\prime }(\mu ){]}^2}{I(\mu )}=\frac{4{\mu }^2}{n/{\sigma }^2}=\frac{4{\mu }^2{\sigma }^2}{n}$$

两者之差为 $2{\sigma }^4/n^2$，是 $O(1/n^2)$ 量级。这说明 $h(\overline{X})$ 是 UMVUE 但不是有效估计（没达到 CRLB）。

这是一个重要认识：UMVUE ⊋ 有效估计（UMVUE 只保证方差在所有无偏估计中最小，但不一定等于 CRLB）。

---

5. 复习梳理：本章知识体系图

                     参数估计
                       |
         ┌─────────────┼─────────────┐
         |             |             |
      点估计         区间估计       估计量评价
         |             |             |
   ┌─────┼─────┐   正态/二项CI    无偏性
   MLE  MoM  顺序统计量  误差范围    有效性
                 (定义域含θ)  样本量         |
                                       Fisher 信息
                                          |
                                    Cramér-Rao 下界
                                          |
                                   有效估计 / UMVUE

---

6. 常见错误与考点提示

误区	正确认识
样本方差分母用 $n$	无偏需用 $n-1$（$S^2$）
MLE 一定无偏	不一定！比如 ${\hat{\sigma }}^2$、$Y_{max}$
CI 里有 95% 的概率含真值	95% 是方法的重复覆盖率，$\mu$ 是定值
定义域含参数的 MLE 仍求导	要直接看似然函数的单调性，MLE 往往是顺序统计量
CRLB 一定能达到	只有指数族自然参数的充分统计量可以，其他情况不一定
Margin of Error 取决于 $\hat{p}$	只取决于 $n$（取最坏情况 $p=0.5$）

---

7. 关键公式速查表

内容	公式
似然函数	$L(\theta )=\prod f(y_i;\theta )$
对数似然	$\ell (\theta )=\sum \ln f(y_i;\theta )$
Poisson MLE	$\tilde{\lambda }=\overline{k}$
Normal MLE	$\tilde{\mu }=\overline{y},\widetilde{{\sigma }^2}=\frac{1}{n}\sum (y_i-\overline{y}{)}^2$
样本方差（无偏）	$S^2=\frac{1}{n-1}\sum (Y_i-\overline{Y}{)}^2$
Normal 均值 CI	$\overline{y}\pm z_{\alpha /2}\sigma /\sqrt{n}$
Binomial $p$ 的 CI	$\hat{p}\pm z_{\alpha /2}\sqrt{\hat{p}(1-\hat{p})/n}$
Margin of Error (95%)	$d=1.96/(2\sqrt{n})$
样本量	$n=z_{\alpha /2}^2/(4d^2)$
Fisher 信息	$I(\theta )=-E[{\partial }^2\ell /\partial {\theta }^2]$
Cramér–Rao 下界	$\text{Var}(T)\ge [g^{\prime }(\theta ){]}^2/I(\theta )$
无偏估计 CRLB	$\text{Var}(\hat{\theta })\ge 1/I(\theta )$

---

8. 学习建议

1. 先理解直觉再看公式：MLE 就是"反向推理——哪种参数值最可能产生这组数据"。
2. 推导走一遍：别只记结论。Poisson、Normal、Uniform 的 MLE 都亲手推一遍。
3. MoM vs MLE：MoM 简单但不一定有效；MLE 通常更优（大样本下是渐近最优的）。
4. CI 理解要准：95% 是方法属性，不是 $\mu$ 的属性。
5. Fisher 信息是一级难点：记住两种等价定义（一阶得分的方差 / 二阶负期望），指数族里方差直接等于 $I(\eta )$ 或 $I(\eta {)}^{-1}$。
6. CRLB 是理论上限：不是所有无偏估计都能达到；达到的叫"有效估计"。

完成这些思路的梳理之后，建议把本章中的每个 Case Study / Example 都自己从头算一遍，尤其是：

• Poisson 的 MLE（第 9 页）
• Normal 双参数 MLE（第 20 页）
• Gamma 的 MoM（第 26 页）
• Binomial 的 CI（第 35–38 页）
• 样本方差无偏化（第 59 页）
• CRLB 证明（第 72 页）
• 指数族 CRLB 达到（第 73 页）

祝学习顺利！

---

9. 专题补充：MLE 的技术细节与边界问题

MLE 的例题不只是“求导令零”。真正要掌握的是：似然函数、支持集、边界、约束和参数化都会影响答案。

9.1 MLE 标准流程

对样本 $Y_1,\dots ,Y_n$，若联合密度或 pmf 为

$$L(\theta )=\prod _{i=1}^{n}f(y_i;\theta ),$$

常用步骤是：

1. 写出 likelihood，不能漏掉参数相关的支持集；
2. 取 log-likelihood：

$$\ell (\theta )=\log L(\theta );$$

3. 求 score：

$$U(\theta )=\frac{\partial \ell (\theta )}{\partial \theta };$$

4. 解 $U(\theta )=0$；
5. 检查二阶导、边界和参数空间；
6. 给出最终 MLE。

若参数是向量 $\theta =({\theta }_1,\dots ,{\theta }_p)$，则解的是 score equations：

$$\mathrm{\nabla }\ell (\theta )=0.$$

9.2 支持集依赖参数时，不能只求导

Uniform$(0,\theta )$ 是典型例子。似然为

$$L(\theta )={\theta }^{-n}I(\theta \ge y_{(n)}).$$

在允许的区域 $\theta \ge y_{(n)}$ 内，${\theta }^{-n}$ 随 $\theta$ 增大而减小，因此最大值在最小可行点取得：

$$\hat{\theta }=y_{(n)}.$$

这里若直接求导，会发现没有内部临界点。正确答案来自边界。

类似地，Uniform$(\theta ,\theta +1)$、Pareto 下界参数、截断分布等题都要先看支持集。

9.3 MLE 的不变性

若 $\hat{\theta }$ 是 $\theta$ 的 MLE，且目标参数为

$$\eta =g(\theta ),$$

则在适当条件下

$$\hat{\eta }=g(\hat{\theta })$$

是 $\eta$ 的 MLE。

例子：若 ${\hat{\sigma }}^2$ 是 ${\sigma }^2$ 的 MLE，则 $\hat{\sigma }=\sqrt{{\hat{\sigma }}^2}$ 是 $\sigma$ 的 MLE。

注意：MLE 的不变性不等于无偏性保留。$g(\hat{\theta })$ 可能是 MLE，但不一定无偏。

9.4 Normal 双参数 MLE 的细节

若

$$Y_i\sim N(\mu ,{\sigma }^2),$$

log-likelihood 为

$$\ell (\mu ,{\sigma }^2)=-\frac{n}{2}\log (2\pi )-\frac{n}{2}\log {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-\mu {)}^2.$$

对 $\mu$ 求导得

$$\hat{\mu }=\overline{y}.$$

代回或同时对 ${\sigma }^2$ 求导得

$${\hat{\sigma }}_{MLE}^2=\frac{1}{n}\sum _{i=1}^n(y_i-\overline{y}{)}^2.$$

这不是无偏样本方差。无偏样本方差是

$$S^2=\frac{1}{n-1}\sum _{i=1}^n(y_i-\overline{y}{)}^2.$$

MLE 追求最大似然，不自动追求无偏。

---

10. 专题补充：CI、Margin of Error 与样本量

10.1 区间估计的 pivot 思路

置信区间常从 pivot 开始。pivot 是一个分布不依赖未知参数的随机量。

例如已知 $\sigma$ 的正态均值：

$$Z=\frac{\overline{Y}-\mu }{\sigma /\sqrt{n}}\sim N(0,1).$$

从

$$P(-z_{\alpha /2}\le Z\le z_{\alpha /2})=1-\alpha$$

反解 $\mu$，得到区间。

未知 $\sigma$ 时，pivot 变成

$$T=\frac{\overline{Y}-\mu }{S/\sqrt{n}}\sim t_{n-1}.$$

10.2 Margin of Error

对均值区间

$$\overline{y}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}},$$

半宽为

$$d=z_{\alpha /2}\frac{\sigma }{\sqrt{n}}.$$

若希望误差不超过 $d$，需要

$$n\ge {\left(\frac{z_{\alpha /2}\sigma }{d}\right)}^2.$$

对比例 $p$，大样本区间半宽近似为

$$d=z_{\alpha /2}\sqrt{\frac{p(1-p)}{n}}.$$

若没有先验估计，使用最保守的

$$p(1-p)\le \frac{1}{4}$$

得到

$$n\ge \frac{z_{\alpha /2}^2}{4d^2}.$$

95% 区间下 $z_{\alpha /2}\approx 1.96$，于是常见近似

$$d\approx \frac{1.96}{2\sqrt{n}}.$$

10.3 区间解释的标准表述

正确表述：

使用这种方法重复抽样构造区间，长期来看约有 95% 的区间包含真实参数。

不严谨表述：

这个具体区间以 95% 的概率包含真实参数。

在频率派框架中，参数是固定的，随机的是区间构造过程。

---

11. 专题补充：Fisher 信息与 CRLB 串联

11.1 Score 的均值为 0

score 定义为

$$U(\theta )=\frac{\partial }{\partial \theta }\log f(Y;\theta ).$$

在正则条件下，

$$E_{\theta }[U(\theta )]=0.$$

这来自

$$\int f(y;\theta )dy=1$$

对 $\theta$ 求导。

11.2 Fisher 信息的两个表达

Fisher 信息为

$$I(\theta )=E[U(\theta {)}^2].$$

在正则条件下，也可写为

$$I(\theta )=-E[\frac{{\partial }^2}{\partial {\theta }^2}\log f(Y;\theta )].$$

样本独立时，信息量相加：

$$I_n(\theta )=n{I}_1(\theta ).$$

这解释了为什么估计精度通常随 $n$ 增大而提高，标准误通常按 $1/\sqrt{n}$ 缩小。

11.3 Cramer-Rao 下界

若 $T(Y)$ 是 $g(\theta )$ 的无偏估计量，则

$${\mathrm{Var}}_{\theta }(T)\ge \frac{[g^{\prime }(\theta ){]}^2}{I(\theta )}.$$

若 $g(\theta )=\theta$，则

$${\mathrm{Var}}_{\theta }(T)\ge \frac{1}{I(\theta )}.$$

达到下界的无偏估计量称为有效估计量。

11.4 CRLB 与 MLE 的关系

CRLB 是有限样本下对无偏估计量方差的下界；MLE 则通常有大样本性质：

$$\sqrt{n}(\hat{\theta }-\theta ){\to }_{d}N(0,\frac{1}{I_1(\theta )}).$$

所以 MLE 常说“渐近有效”，即大样本下达到 CRLB 对应的效率。

---

12. 本章复习清单

核心内容	复习时要能做到
likelihood	会写联合似然并保留支持集
log-likelihood	会取对数简化乘积
score equation	会求导并检查最大值
边界 MLE	知道 Uniform 类题不能只求导
MLE 不变性	会把 $\hat{\theta }$ 变换成 $g(\hat{\theta })$
Normal MLE	区分 MLE 方差和无偏样本方差
pivot	会从分布不含未知参数的量反解 CI
margin of error	会由半宽反推样本量
Fisher 信息	会使用一阶和二阶表达
CRLB	会判断无偏估计方差是否达到下界
渐近有效	能解释 MLE 与 CRLB 的大样本关系

13. 综合深化：估计量比较、样本量与预测区间

13.1 同为无偏估计，方差可以相差很大

设 $X_1,\dots ,X_n\stackrel{i.i.d.}{\sim }\mathrm{Unif}(0,\theta )$。两个常见的无偏估计量为

$$T_1=2\overline{X},T_2=\frac{n+1}{n}{X}_{(n)}.$$

它们的方差分别是

$$\mathrm{Var}(T_1)=\frac{{\theta }^2}{3n},\mathrm{Var}(T_2)=\frac{{\theta }^2}{n(n+2)}.$$

若把 $T_2$ 相对于 $T_1$ 的效率定义为 $\mathrm{Var}(T_1)/\mathrm{Var}(T_2)$，则为 $(n+2)/3$；反向比值为 $3/(n+2)$。次序统计量利用了参数进入支持集这一结构，效率会随 $n$ 明显提高。

13.2 偏差—方差分解

评价估计量时不应只看无偏性。平方损失下

$$\mathrm{MSE}(\hat{\theta })=\mathrm{Var}(\hat{\theta })+\mathrm{Bias}(\hat{\theta }{)}^2.$$

一个略有偏差但方差显著更小的估计量，可能拥有更小的 MSE。后续的收缩估计与正则化正是利用这一权衡。

13.3 由精度要求反推样本量

总体比例的正态近似置信区间半宽约为

$$d=z_{1-\alpha /2}\sqrt{\frac{p(1-p)}{n}}.$$

若设计阶段不知道 $p$，利用 $p(1-p)\le 1/4$，取保守样本量

$$n\ge \frac{z_{1-\alpha /2}^2}{4d^2},$$

并向上取整。若已有可靠的先导估计，可用该估计替代 $p$，但要说明设计依据。

13.4 三类区间不要混淆

• 参数置信区间：覆盖固定但未知的参数，如总体均值。
• 均值响应区间：估计给定协变量处的条件均值，包含参数估计误差。
• 个体预测区间：还要加入新个体自身的随机误差，通常更宽。

共形预测进一步提供有限样本的边际覆盖保证；但边际覆盖不等于对每个协变量取值都满足同样的条件覆盖率。

13.5 正则条件为什么重要

经典 MLE 渐近正态理论通常要求参数不位于边界、支持集不随参数变化、似然足够光滑且 Fisher 信息非退化。$\mathrm{Unif}(0,\theta )$ 的支持集随 $\theta$ 改变，MLE 为 $X_{(n)}$，其误差常呈 $n^{-1}$ 量级，而不是常见的 $n^{-1/2}$ 量级。这不是理论失效，而是正则模型结论不适用于非正则模型。