第 3 章：期望、方差、联合分布与变量变换

这一章回答四个问题：随机变量的“中心”在哪里？波动有多大？多个随机变量如何一起描述？对随机变量做函数变换后分布怎么变？

---

0. 本章定位

第 2 章学的是“分布长什么样”。
第 3 章开始提取分布的结构信息：

单个随机变量 -> 期望 E(X) -> 方差 Var(X) -> 高阶矩

多个随机变量 -> 联合分布 -> 边际分布 -> 独立性 -> 变量变换 / 求和 / 比值 / 乘积

---

1. 期望：随机变量的长期平均

1.1 离散期望

若 $X$ 是离散随机变量，pmf 为 $p_X(k)$，则

$$\boxed{{\displaystyle E(X)=\sum _{k}k{p}_X(k)}}$$

前提是

$$\sum _k|k|p_X(k)<\mathrm{\infty }$$

否则期望不存在。

1.2 连续期望

若 $Y$ 是连续随机变量，pdf 为 $f_Y(y)$，则

$$\boxed{{\displaystyle E(Y)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}y{f}_Y(y)dy}}$$

要求

$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}|y|f_Y(y)dy<\mathrm{\infty }$$

1.3 二项分布的期望

若

$$X\sim \mathrm{Binomial}(n,p)$$

则

$$\boxed{{\displaystyle E(X)=np}}$$

直观：$X$ 是 $n$ 个 Bernoulli 变量之和，每个成功概率为 $p$，所以平均成功次数是 $np$。

---

2. 函数的期望

很多时候我们关心的不是 $X$ 本身，而是 $g(X)$。

离散情形：

$$\boxed{{\displaystyle E[g(X)]=\sum _{k}g(k)p_X(k)}}$$

连续情形：

$$\boxed{{\displaystyle E[g(Y)]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(y)f_Y(y)dy}}$$

重点：求 $E[g(X)]$ 时，不一定要先求 $g(X)$ 的分布，通常直接对原分布加权即可。

---

3. 方差与矩

3.1 方差定义

方差衡量随机变量围绕均值的波动：

$$\boxed{{\displaystyle \mathrm{Var}(X)=E[(X-EX{)}^2]}}$$

常用计算式：

$$\boxed{{\displaystyle \mathrm{Var}(X)=E(X^2)-[E(X){]}^2}}$$

标准差：

$$\mathrm{sd}(X)=\sqrt{\mathrm{Var}(X)}$$

3.2 线性变换的方差

若 $a,b$ 为常数：

$$\boxed{{\displaystyle \mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)}}$$

平移不改变方差，缩放会按平方倍改变方差。

3.3 高阶矩

原点矩：

$${\mu }_r=E(W^r)$$

中心矩：

$${\mu }_r^{\prime }=E[(W-EW{)}^r]$$

三阶中心矩与偏度有关，四阶中心矩与峰度有关。后续渐近理论、矩估计、分布刻画都会用到这些概念。

---

4. 联合分布

4.1 离散联合 pmf

两个离散随机变量的联合分布：

$$\boxed{{\displaystyle p_{X,Y}(x,y)=P(X=x,Y=y)}}$$

边际分布由联合分布求和得到：

$$\boxed{{\displaystyle p_X(x)=\sum _y{p}_{X,Y}(x,y)}},\boxed{{\displaystyle p_Y(y)=\sum _x{p}_{X,Y}(x,y)}}$$

4.2 连续联合 pdf

若 $X,Y$ 联合连续，则

$$P((X,Y)\in A)={\iint }_A{f}_{X,Y}(x,y)dxdy$$

边际密度：

$$\boxed{{\displaystyle f_X(x)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_{X,Y}(x,y)dy}}$$$$\boxed{{\displaystyle f_Y(y)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_{X,Y}(x,y)dx}}$$

4.3 联合 CDF

$$\boxed{{\displaystyle F_{X,Y}(u,v)=P(X\le u,Y\le v)}}$$

连续情形下：

$$f_{X,Y}(x,y)=\frac{{\partial }^2}{\partial x\partial y}{F}_{X,Y}(x,y)$$

---

5. 独立性与随机样本

5.1 独立性的分布判据

离散：

$$\boxed{{\displaystyle p_{X,Y}(x,y)=p_X(x)p_Y(y)}}$$

连续：

$$\boxed{{\displaystyle f_{X,Y}(x,y)=f_X(x)f_Y(y)}}$$

若无法分解为边际的乘积，则不独立。

5.2 随机样本

若

$$X_1,\dots ,X_n$$

独立同分布，称为来自同一总体的随机样本。联合密度可以写成：

$$\boxed{{\displaystyle f(x_1,\dots ,x_n)=\prod _{i=1}^{n}f(x_i)}}$$

这条公式是后面最大似然估计的起点。

---

6. 变量变换

6.1 单调变换

若 $Y=g(X)$，且 $g$ 单调可逆，则

$$\boxed{{\displaystyle f_Y(y)=f_X(g^{-1}(y))|\frac{d}{dy}{g}^{-1}(y)|}}$$

直觉：密度会随坐标伸缩而改变，Jacobian 修正的就是“长度尺度”。

6.2 和的分布：卷积

若 $X,Y$ 独立，$W=X+Y$。

离散情形：

$$\boxed{{\displaystyle p_W(w)=\sum _x{p}_X(x)p_Y(w-x)}}$$

连续情形：

$$\boxed{{\displaystyle f_W(w)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(x)f_Y(w-x)dx}}$$

6.3 比值与乘积

若 $Z=X/Y$，常用变换 $(X,Y)\mapsto (Z,Y)$，即 $X=ZY$，Jacobian 为 $|y|$：

$$\boxed{{\displaystyle f_Z(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}|y|f_{X,Y}(zy,y)dy}}$$

若 $Z=XY$，用 $X=Z/Y$，Jacobian 为 $1/|y|$：

$$\boxed{{\displaystyle f_Z(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{|y|}{f}_{X,Y}(z/y,y)dy}}$$

独立时把 $f_{X,Y}$ 换成 $f_X{f}_Y$。

6.4 多维变换

若 $Y=g(X)$ 是一一可微变换，则

$$\boxed{{\displaystyle f_Y(y)=f_X(g^{-1}(y))|detD{g}^{-1}(y)|}}$$

这是高维版本的 Jacobian 公式。

---

7. 本章知识图谱

图表渲染中…

---

8. 易错点与考点

误区	正确认识
$E[g(X)]=g(EX)$	一般不成立
方差是 $E(X^2)$	方差是 $E(X^2)-[E(X){]}^2$
边际密度是直接“删掉变量”	要对另一个变量求和或积分
不相关等于独立	一般不成立；独立可推出不相关
变量变换忘记 Jacobian	连续变换必须修正尺度
卷积只适合正态	任意独立和都可用卷积

---

9. 关键公式速查表

内容	公式
离散期望	$E(X)=\sum k{p}_X(k)$
连续期望	$E(Y)=\int y{f}_Y(y)dy$
函数期望	$E[g(Y)]=\int g(y)f_Y(y)dy$
方差	$\mathrm{Var}(X)=E(X^2)-[E(X){]}^2$
边际 pmf	$p_X(x)=\sum _y{p}_{X,Y}(x,y)$
边际 pdf	$f_X(x)=\int f_{X,Y}(x,y)dy$
独立	$f_{X,Y}=f_X{f}_Y$
随机样本联合密度	$\prod _{i}f(x_i)$
单调变换	$f_Y(y)=f_X(g^{-1}(y))|(g^{-1}{)}^{\prime }(y)|$
卷积	$f_{X+Y}(w)=\int f_X(x)f_Y(w-x)dx$

---

10. 学习建议

1. 做期望题时，先问“能不能直接用 $E[g(X)]$ 公式”。
2. 做联合分布题时，先画支持区域，再积分。
3. 判断独立性不要凭直觉，直接检查是否可分解。
4. 做变量变换题时，把“旧变量 = 新变量函数”写清楚，再算 Jacobian。
5. 卷积题要先确定积分上下限，这通常比公式本身更重要。

---

11. 期望与方差的计算套路

11.1 二项分布期望的代数推导

若

$$X\sim \mathrm{Binomial}(n,p)$$

则

$$E(X)=\sum _{k=0}^{n}k(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}$$

利用恒等式：

$$k(\genfrac{}{}{0ex}{}{n}{k})=n(\genfrac{}{}{0ex}{}{n-1}{k-1})$$

得到：

$$E(X)=np\sum _{k=1}^n(\genfrac{}{}{0ex}{}{n-1}{k-1})p^{k-1}(1-p{)}^{n-k}$$

令 $j=k-1$：

$$E(X)=np\sum _{j=0}^{n-1}(\genfrac{}{}{0ex}{}{n-1}{j})p^j(1-p{)}^{n-1-j}=np$$

最后一步用的是二项式展开：

$$(p+1-p{)}^{n-1}=1$$

11.2 指示变量法：更重要的理解

令

$$X=I_1+\cdots +I_n$$

其中 $I_i=1$ 表示第 $i$ 次成功。则

$$E(I_i)=p$$

由期望线性性：

$$E(X)=\sum _{i=1}^{n}E(I_i)=np$$

这种方法比代数展开更通用。很多计数型随机变量都可以拆成指示变量求期望。

11.3 方差公式的推导

$$Var(X)=E[(X-\mu {)}^2]$$

展开：

$$E[(X-\mu {)}^2]=E(X^2-2\mu X+{\mu }^2)$$$$=E(X^2)-2\mu E(X)+{\mu }^2$$

因为 $\mu =E(X)$：

$$\boxed{{\displaystyle Var(X)=E(X^2)-[E(X){]}^2}}$$

这条公式通常比定义式更好算。

11.4 函数期望不需要先求新分布

若要计算 $E[g(X)]$，需要注意可以直接使用原分布：

离散：

$$E[g(X)]=\sum _{x}g(x)p_X(x)$$

连续：

$$E[g(Y)]=\int g(y)f_Y(y)dy$$

例如某收益函数是 $g(X)$，无需先推导收益随机变量的 pmf，只要把每个 $X$ 的取值代入收益函数再加权即可。

---

12. 联合分布、边际分布、独立性的解题

12.1 从联合表格求边际分布

离散联合 pmf 通常给成表格：

	$Y=y_1$	$Y=y_2$	...
$X=x_1$	$p_{11}$	$p_{12}$	...
$X=x_2$	$p_{21}$	$p_{22}$	...

边际分布就是行和/列和：

$$p_X(x_i)=\sum _j{p}_{ij}$$$$p_Y(y_j)=\sum _i{p}_{ij}$$

独立性检查：

$$p_{ij}\stackrel{?}{=}{p}_X(x_i)p_Y(y_j)$$

只要找到一个格子不满足，就不独立。

12.2 连续边际密度：先画支持区域

若联合密度为 $f_{X,Y}(x,y)$，求 $f_X(x)$：

$$f_X(x)=\int f_{X,Y}(x,y)dy$$

关键不是公式，而是积分范围。
如果支持区域不是矩形，一定先画图。

例如支持为

$$0<y<x<1$$

则固定 $x$ 后，$y$ 的范围是：

$$0<y<x$$

所以：

$$f_X(x)={\int }_0^x{f}_{X,Y}(x,y)dy$$

很多联合密度题的错误都来自积分上下限写错。

12.3 联合 CDF 与 pdf 的关系

连续情形：

$$F_{X,Y}(u,v)=P(X\le u,Y\le v)$$

若联合 pdf 存在，则：

$$F_{X,Y}(u,v)={\int }_{-\mathrm{\infty }}^u{\int }_{-\mathrm{\infty }}^v{f}_{X,Y}(x,y)dydx$$

反过来：

$$f_{X,Y}(x,y)=\frac{{\partial }^2}{\partial x\partial y}{F}_{X,Y}(x,y)$$

二维 CDF 题常常要分区域讨论，因为 $u,v$ 相对支持边界的位置不同。

---

13. 变量变换与卷积的方法

13.1 单变量变换的 CDF 法

若 $Y=g(X)$，最稳妥的方法是：

$$F_Y(y)=P(Y\le y)=P(g(X)\le y)$$

把不等式解回 $X$，再用 $X$ 的分布。

当 $g$ 单调可逆时，才直接用：

$$f_Y(y)=f_X(g^{-1}(y))|\frac{d}{dy}{g}^{-1}(y)|$$

若 $g$ 不单调，要分支求和。

13.2 和的分布：卷积积分怎么定界

若 $W=X+Y$，且 $X,Y$ 独立：

$$f_W(w)=\int f_X(x)f_Y(w-x)dx$$

积分范围由两个条件同时决定：

1. $x$ 必须在 $X$ 的支持中；
2. $w-x$ 必须在 $Y$ 的支持中。

例如 $X,Y\sim U(0,1)$ 独立。
则要求：

$$0<x<1,0<w-x<1$$

即

$$w-1<x<w$$

综合得到：

$$max(0,w-1)<x<min(1,w)$$

因此 $f_W(w)$ 是三角形：

$$f_W(w)=\{\begin{array}{ll}w,& 0<w<1\\ 2-w,& 1\le w<2\\ 0,& \text{otherwise}\end{array}$$

13.3 比值分布：Cauchy 的来源

若

$$Z=\frac{X}{Y}$$

使用变换：

$$(Z,Y)=(X/Y,Y)$$

反变换：

$$X=ZY,Y=Y$$

Jacobian：

$$\left|\frac{\partial (x,y)}{\partial (z,y)}\right|=|y|$$

所以：

$$f_Z(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}|y|f_{X,Y}(zy,y)dy$$

如果 $X,Y$ 是独立标准正态，就可以推出 $X/Y$ 服从 Cauchy 分布。这个例子在渐近理论中也会出现。

---

14. 本章复习清单

1. 会用定义计算离散和连续期望。
2. 会证明或解释 $E[\mathrm{Binomial}(n,p)]=np$。
3. 会使用 $E[g(X)]$，不机械先求 $g(X)$ 分布。
4. 会用 $Var(X)=E(X^2)-[E(X){]}^2$。
5. 会从联合 pmf/pdf 求边际分布。
6. 会用分解 $f_{X,Y}=f_X{f}_Y$ 判断独立性。
7. 会从联合 CDF 求联合 pdf。
8. 会用 CDF 法处理变量变换。
9. 会写出卷积公式并确定积分上下限。
10. 会用 Jacobian 处理二维变换、比值和乘积。

---

15. 综合深化：分布函数、矩条件与概率不等式

15.1 CDF 的右连续与跳跃

任意分布函数 $F(x)=P(X\le x)$ 都满足：

$$F(x_n)\to F(x)\text{当 }{x}_n\downarrow x.$$

这是因为事件 $\{X\le x_n\}$ 单调递减到 $\{X\le x\}$。左极限则为

$$F(x^{-})=P(X<x),$$

所以跳跃大小

$$F(x)-F(x^{-})=P(X=x).$$

分布函数的不连续点至多可数：对任意 $m$，跳跃大于 $1/m$ 的点至多有限个；把 $m=1,2,\dots$ 的集合取可数并即可。

15.2 “期望存在”与“绝对可积”

写

$$X^{+}=max(X,0),X^{-}=max(-X,0),$$

则 $X=X^{+}-X^{-}$。若 $E(X^{+})$ 与 $E(X^{-})$ 至少一个有限，可在扩展实数意义下定义期望；若二者都有限，即

$$E|X|<\mathrm{\infty },$$

则期望有限且可安全使用线性性、换序等常见运算。

圣彼得堡式收益提供警示：第 $k$ 次才首次成功时获得 $2^k$，而该事件概率为 $2^{-k}$，每一项对期望的贡献都是 1，故总期望发散。极少发生的巨大收益足以让均值不存在。

15.3 断棍比例的完整计算

在单位长度棍上均匀选择断点 $X\sim U(0,1)$，令短段与长段之比

$$R=\frac{min(X,1-X)}{max(X,1-X)}.$$

利用关于 $1/2$ 的对称性，

$$E(R)=2{\int }_0^{1/2}\frac{x}{1-x}dx=2\log 2-1\approx 0.3863.$$

这个例子展示了 LOTUS：直接对 $X$ 的密度积分，不必先推导 $R$ 的密度。

15.4 四个常用矩不等式

若 $p,q>1$ 且 $1/p+1/q=1$，Hölder 不等式为

$$E|XY|\le (E|X{|}^p{)}^{1/p}(E|Y{|}^q{)}^{1/q}.$$

$p=q=2$ 时得到 Cauchy-Schwarz：

$$|E(XY){|}^2\le E(X^2)E(Y^2).$$

Minkowski 不等式给出 $L^p$ 三角不等式：

$$(E|X+Y{|}^p{)}^{1/p}\le (E|X{|}^p{)}^{1/p}+(E|Y{|}^p{)}^{1/p}.$$

Lyapunov 不等式说明矩的标准化根随阶数增加：若 $0<r<s$，

$$(E|X{|}^r{)}^{1/r}\le (E|X{|}^s{)}^{1/s}.$$

它立即推出：高阶绝对矩存在，则所有低阶绝对矩存在。

15.5 可交换性弱于独立同分布

随机向量 $(X_1,\dots ,X_n)$ 可交换，是指任意置换不改变联合分布。i.i.d. 一定可交换，但可交换变量可以强烈相关。例如先抽一个随机成功率 $P$，再给定 $P$ 独立生成 Bernoulli 变量；边缘上这些变量可交换，却因共享 $P$ 而相关。

可交换性足以支持某些置换、随机化和对称性方法，因此在不需要完整独立性的场景中很重要。