第 6 章 回归与相关分析（Regression & Correlation）

对应课件 6 Regression.pdf，覆盖 Rosner 第 11 章（与第 12.5 节 ANCOVA）。 回归是把 ANOVA 拓展到连续型自变量：研究 $y$ 如何随 $x$ 变化。最终我们会看到 ANOVA 也只是回归的一个特例。

---

1. 简单线性回归（Simple Linear Regression）

1.1 研究问题

• $y$ 随 $x$ 怎么变？正/负/无关？
• 给定 $x$，能预测 $y$ 吗？
• $x$ 与 $y$ 是否"相关"？

统计框架：

• $y$（因变量）：随机变量
• $x$（自变量）：当作固定的（非随机）
• 关心条件期望 $E(y\mid x)$ 如何随 $x$ 变

---

1.2 模型

$$y_i\sim N(\alpha +\beta x_i,{\sigma }^2)$$$$E(y_i\mid x_i)=\alpha +\beta x_i$$

三个参数：

• $\alpha$（截距，intercept）：$x=0$ 时直线的高度
• $\beta$（斜率，slope）：$x$ 增加一个单位，$y$ 平均变化多少
  • $\beta >0$：正相关
  • $\beta <0$：负相关
  • $\beta =0$：无线性关系
• ${\sigma }^2$：残差方差，越小拟合越紧

---

1.3 最小二乘法（Method of Least Squares, OLS）

每个点的残差 $d_i=y_i-{\hat{y}}_i=y_i-(\alpha +\beta x_i)$。

目标：极小化残差平方和

$$(\hat{\alpha },\hat{\beta })=\arg \underset{\alpha ,\beta }{min}\sum _{i=1}^n(y_i-\alpha -\beta x_i{)}^2$$

求导可得闭式解：

$$\boxed{{\displaystyle \hat{\beta }=\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x}{)}^2}=\frac{\sum x_i{y}_i-n\overline{x}\overline{y}}{\sum x_i^2-n{\overline{x}}^2}}}$$$$\hat{\alpha }=\overline{y}-\hat{\beta }\overline{x}$$

性质：回归直线必经过样本均值点 $(\overline{x},\overline{y})$。

---

1.4 例：孕妇雌三醇与新生儿出生体重

$n=31$ 名孕妇：$y$ = 出生体重（克/100），$x$ = 雌三醇（mg/24h）。

拟合直线：$\hat{y}=21.5+0.61x$。

斜率解释：雌三醇每增加 1 mg/24h，新生儿体重平均增加 $0.61\times 100=61$ 克。

预测：若 $x=15$，$\hat{y}=0.61(15)+21.5=30.65$（即约 3065 克）。

---

2. 回归系数的假设检验

2.1 平方和分解（Decomposition of TSS）

$$y_i-\overline{y}=(y_i-{\hat{y}}_i)+({\hat{y}}_i-\overline{y})$$

平方求和：

$$\boxed{{\displaystyle \underset{\text{TSS}}{\underbrace{\sum (y_i-\overline{y}{)}^2}}=\underset{\text{RegSS}}{\underbrace{\sum ({\hat{y}}_i-\overline{y}{)}^2}}+\underset{\text{ResSS}}{\underbrace{\sum (y_i-{\hat{y}}_i{)}^2}}}}$$

• TSS（Total）：$y$ 的总变异
• RegSS（Regression）：被回归直线"解释"的部分
• ResSS（Residual）：未解释、剩余噪声

自由度：$n-1=k+(n-k-1)$（$k$ = 自变量个数，简单回归 $k=1$）。

均方：

$$\text{RegMS}=\frac{\text{RegSS}}{k},\text{ResMS}=\frac{\text{ResSS}}{n-k-1}$$

---

2.2 F 检验

$$H_0:\beta =0,H_1:\beta \ne 0$$$$F=\frac{\text{RegMS}}{\text{ResMS}}\sim F_{k,n-k-1}(H_0)$$

ANOVA 表（简单回归 $k=1$）：

来源	SS	df	MS	F
回归	RegSS	1	RegSS	RegMS/ResMS
残差	ResSS	$n-2$	ResSS/(n-2)	–
总	TSS	$n-1$	–	–

---

2.3 t 检验（直接对斜率）

$$t=\frac{\hat{\beta }}{\mathrm{se}(\hat{\beta })},\mathrm{se}(\hat{\beta })=\sqrt{\frac{\mathrm{ResMS}}{\sum (x_i-\overline{x}{)}^2}}$$

$t\sim t_{n-2}$（$H_0$ 下）。

重要等价：在简单线性回归中，$F=t^2$。两种检验等价。

自由度 $n-2$ 的来源：从 $n$ 中扣除 $\hat{\alpha },\hat{\beta }$ 两个估计参数。

斜率的 $1-\alpha$ 置信区间：

$$\hat{\beta }\pm t_{n-2,1-\alpha /2}\cdot \mathrm{se}(\hat{\beta })$$

---

3. 相关系数（Correlation）

3.1 总体相关系数

$$\rho =\mathrm{Corr}(X,Y)=\frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y}$$

性质：

• 无量纲，$\rho \in [-1,1]$
• $\rho \approx 1$：强正线性
• $\rho \approx -1$：强负线性
• $\rho \approx 0$：无线性关系（注意：可能存在非线性！）

经典反例：$Y=X^2$，$X$ 在 $[-1,1]$ 均匀分布，$\rho =0$ 但 $Y$ 完全由 $X$ 决定。

---

3.2 Pearson 样本相关系数

$$\hat{\rho }=r=\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum (x_i-\overline{x}{)}^2\sum (y_i-\overline{y}{)}^2}}$$

与回归斜率的关系：

$$\boxed{{\displaystyle \hat{\beta }=\hat{\rho }\cdot \frac{{\hat{\sigma }}_Y}{{\hat{\sigma }}_X}}}$$

→ 斜率的符号与相关系数一致；斜率的大小还受 $Y/X$ 尺度影响。

---

3.3 Spearman 秩相关

动机：Pearson 假设近似正态、且只能测线性关系。当数据非正态/有异常值/关系单调但非线性时，用 Spearman 更稳健。

步骤：

1. 把 $x_i$ 和 $y_i$ 各自换成秩 $r_x(i)$、$r_y(i)$（同值取均秩）
2. 对秩做 Pearson 相关：

$${\hat{\rho }}_{\text{Spearman}}=\frac{\sum [r_x(i)-{\overline{r}}_x][r_y(i)-{\overline{r}}_y]}{\sqrt{\sum [r_x(i)-{\overline{r}}_x{]}^2\sum [r_y(i)-{\overline{r}}_y{]}^2}}$$

性质：

• 测单调关系（增/减），不要求线性
• 对异常值稳健
• $\pm 1$ 对应秩完全同/反序

---

4. 拟合优度与残差分析

4.1 决定系数 $R^2$

$$R^2=\frac{\text{RegSS}}{\text{TSS}}=1-\frac{\text{ResSS}}{\text{TSS}}$$

$R^2\in [0,1]$：被回归解释的方差比例。

• $R^2=0$：$x$ 完全无解释力
• $R^2=1$：所有点完美落在直线上
• 简单回归中 $R^2=r^2$（相关系数的平方）

---

4.2 调整 $R^2$

加入更多自变量会机械地抬高 $R^2$。调整版考虑了自变量数：

$$R_{\text{adj}}^2=1-\frac{\text{ResSS}/(n-k-1)}{\text{TSS}/(n-1)}=1-\frac{\text{ResMS}}{\text{TMS}}$$

性质：

• 总有 $R_{\text{adj}}^2\le R^2$
• 加入"无用"自变量会让 $R_{\text{adj}}^2$ 下降
• 多元回归首选 $R_{\text{adj}}^2$ 来比较模型

例（雌三醇 vs 出生体重）：

$$R^2=250.57/674\approx 0.37,R_{\text{adj}}^2\approx 1-14.6/22.47=0.35$$

---

4.3 简单线性回归的三大假设

1. 线性性（Linearity）：$E(y\mid x)=\alpha +\beta x$
2. 正态性（Normality）：给定 $x$，$y$ 服从正态
3. 独立性（Independence）：误差 $e_i$ 之间独立

加上"等方差性"（同方差，homoscedasticity）通常合称四大假设。

---

4.4 残差及诊断

残差：${\hat{e}}_i=y_i-{\hat{y}}_i$。

学生化残差（Studentized）：

$$\frac{{\hat{e}}_i}{\mathrm{sd}({\hat{e}}_i)}\dot{\sim }N(0,1)$$

残差图诊断要点

诊断目标	看什么	异常表现
同方差	残差 vs $\hat{y}$ 散点图	"扇形 / 漏斗" → 异方差
线性	残差 vs $x$	弯曲、U 形 → 非线性
正态	Q-Q 图（残差 vs N(0,1) 分位数）	系统偏离对角线

应对：

• 异方差 → 对 $y$ 做 $\log$、$\sqrt{}$ 等变换
• 非线性 → 加多项式项、变换、用非线性回归
• 非正态 → 大样本下 CLT 仍可保（估计无偏）；严重时用稳健方法

---

5. 预测（Prediction）

5.1 两种"预测"

	Case 1：群体均值	Case 2：单个个体
关心	给定 $x_0$ 的 平均 $y$	给定 $x_0$ 的 某一个 $y$
例	"雌三醇=15 时，平均出生体重？"	"我朋友雌三醇=15，孩子有多重？"
不确定性	仅来自参数估计	参数估计 + 个体随机误差

预测值都是 ${\hat{y}}_0=\hat{\alpha }+\hat{\beta }{x}_0$，但方差不同！

---

5.2 群体均值（CI）

$$\mathrm{Var}({\hat{y}}_0)={\sigma }^2[\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}]$$

CI：

$${\hat{y}}_0\pm t_{n-2,1-\alpha /2}\cdot \sqrt{\widehat{\mathrm{Var}}({\hat{y}}_0)}$$

---

5.3 个体预测（PI，Prediction Interval）

$$\mathrm{Var}({\hat{y}}_0-y_0)={\sigma }^2[1+\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{\sum (x_i-\overline{x}{)}^2}]$$

注意比群体均值多了 ${\sigma }^2$ 那一项 → PI 总是比 CI 宽。

PI：

$${\hat{y}}_0\pm t_{n-2,1-\alpha /2}\cdot \sqrt{\widehat{\mathrm{Var}}({\hat{y}}_0-y_0)}$$

关键直觉：估计"群体平均值"比"某一个体的值"精确得多——后者还要承担个体随机噪声 ${\sigma }^2$。

两种区间在 $x_0=\overline{x}$ 处最窄，越远离 $\overline{x}$ 越宽。

---

6. 多元线性回归（Multiple Linear Regression）

6.1 模型

$$E(y_i\mid x_{i1},\dots ,x_{ik})=\alpha +{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_k{x}_{ik}$$

6.2 偏回归系数（Partial Regression Coefficient）

${\beta }_j$ 解释为：控制其他变量不变时，$x_j$ 增加 1 单位 $y$ 的平均变化。

与简单回归的差别：

• 简单回归 ${\beta }_1$：忽略其他变量
• 多元回归 ${\beta }_1$：固定其他变量
• 当变量之间相关时，两者可能差很多甚至符号相反（辛普森悖论可能出现）。

---

6.3 假设检验

整体 F 检验：

$$H_0:{\beta }_1=\cdots ={\beta }_k=0,F=\frac{\text{RegMS}}{\text{ResMS}}\sim F_{k,n-k-1}$$

单系数 t 检验：

$$t=\frac{{\hat{\beta }}_j}{\mathrm{se}({\hat{\beta }}_j)}\sim t_{n-k-1}$$

---

6.4 例：婴儿 SBP ~ Birthweight + Age

$n=16,k=2$：

$$\widehat{\mathrm{SBP}}=53.45+0.126\cdot \mathrm{BWt}+5.888\cdot \mathrm{Age}$$

• 体重每增加 1 oz，SBP 平均增加 0.126 mmHg（控制日龄）
• 日龄每增加 1 天，SBP 平均增加 5.888 mmHg（控制体重）
• 预测 BWt=128, Age=3 的 SBP：$53.45+0.126(128)+5.888(3)=87.24$ mmHg

---

6.5 标准化回归系数（重要性比较）

不同自变量量纲不同，直接比较 ${\hat{\beta }}_j$ 不公平。

标准化系数：

$${\hat{\beta }}_j^s={\hat{\beta }}_j\cdot \frac{{\hat{\sigma }}_{X_j}}{{\hat{\sigma }}_Y}$$

含义：$x_j$ 增加 1 个标准差，$y$ 平均增加 ${\hat{\beta }}_j^s$ 个标准差。

简单回归特例：${\hat{\beta }}^s=\mathrm{Corr}(X,Y)$。

等价构造：直接在标准化后的 $(X^{\ast },y^{\ast })$ 上回归，得到的系数就是 ${\hat{\beta }}^s$。

---

6.6 共线性警告（Collinearity）

如果两自变量几乎完全相关：

• 回归系数估计不稳定，标准误膨胀
• 报告"奇怪的"符号、巨大的方差
• 软件可能直接报错

应对：

• 删除其中一个
• 主成分分析（PCA）压缩
• 岭回归 / 套索（lasso）等正则化方法

---

7. 哑变量（Dummy Variables）：把 ANOVA 装进回归

7.1 思路

类别变量 $X$ 有 $k$ 个水平 → 用 $k-1$ 个 0/1 哑变量（剩 1 个作为参照组）。

例：$k=3$ 类（A, B, C），以 A 作参照：

观测	DrugB	DrugC
A	0	0
B	1	0
C	0	1

回归模型：

$$y=\alpha +{\beta }_1\cdot \mathrm{DrugB}+{\beta }_2\cdot \mathrm{DrugC}+e$$

系数解释：

• $\alpha$：参照组（A）的均值
• ${\beta }_1$：B 与 A 的均值差
• ${\beta }_2$：C 与 A 的均值差

---

7.2 ANOVA = 含哑变量的回归

ANOVA 整体 F 检验等价于：

$$H_0:{\beta }_1=\cdots ={\beta }_{k-1}=0$$

两两比较等价于：

比较	ANOVA (LSD)	回归
j vs 参照组	$t={\displaystyle \frac{{\overline{y}}_j-{\overline{y}}_0}{s\sqrt{1/n_j+1/n_0}}}$	$t={\displaystyle \frac{{\hat{\beta }}_j}{\mathrm{se}({\hat{\beta }}_j)}}$
j vs h（均非参照）	$t={\displaystyle \frac{{\overline{y}}_j-{\overline{y}}_h}{s\sqrt{1/n_j+1/n_h}}}$	$t={\displaystyle \frac{{\hat{\beta }}_j-{\hat{\beta }}_h}{\mathrm{se}({\hat{\beta }}_j-{\hat{\beta }}_h)}}$

关键洞见：ANOVA 只是回归的一个特例。

---

7.3 例：阿司匹林退热

3 种药 A、B、C，5 名儿童一组测试 30 分钟内的退热程度 $y$。以 A 为参照：

$$y=\alpha +{\beta }_1\cdot \mathrm{DrugB}+{\beta }_2\cdot \mathrm{DrugC}+e$$

得到：

• A 组：$y=\alpha$
• B 组：$y=\alpha +{\beta }_1$
• C 组：$y=\alpha +{\beta }_2$

整体 F 检验等价于一因素 ANOVA。

---

8. 协方差分析（ANCOVA）

8.1 动机

比较多组（如三种药），但担心年龄等连续协变量在组间不平衡 → ANCOVA：在调整连续协变量后再比较组间差异。

8.2 模型（等斜率）

$$E(y\mid \text{Age},Z)=\alpha +{\beta }_{\text{Age}}\cdot \text{Age}+{\beta }_1{z}_1+\cdots +{\beta }_{k-1}{z}_{k-1}$$

每组的回归直线斜率相同（即年龄效应一致），只是截距不同：

• 参照组：$y=\alpha +{\beta }_{\text{Age}}\cdot \text{Age}$
• 第 $j$ 组：$y=(\alpha +{\beta }_j)+{\beta }_{\text{Age}}\cdot \text{Age}$

---

8.3 含交互的 ANCOVA（不同斜率）

加交互项 $z_j\times \text{Age}$ 允许各组斜率不同：

$$E(y\mid \text{Age},Z)=\alpha +{\beta }_{\text{Age}}\text{Age}+{\beta }_1{z}_1+{\beta }_2{z}_2+{\beta }_3(z_1\times \text{Age})+{\beta }_4(z_2\times \text{Age})$$

各组：

• $Z=(0,0)$：截距 $\alpha$，斜率 ${\beta }_{\text{Age}}$
• $Z=(1,0)$：截距 $\alpha +{\beta }_1$，斜率 ${\beta }_{\text{Age}}+{\beta }_3$
• $Z=(0,1)$：截距 $\alpha +{\beta }_2$，斜率 ${\beta }_{\text{Age}}+{\beta }_4$

数值例

$$y=100+0.5\text{Age}-30z_1+55z_2+1.75(z_1\text{Age})-1.0(z_2\text{Age})$$

组	截距	斜率
1（参照）	100	0.5
2	70	2.25
3	155	-0.5

→ 三条不同的回归直线（不同截距和斜率）。

---

9. 公式速查表

量	公式
斜率 OLS	$\hat{\beta }={\displaystyle \frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x}{)}^2}}$
截距	$\hat{\alpha }=\overline{y}-\hat{\beta }\overline{x}$
斜率与相关	$\hat{\beta }=\hat{\rho }{\sigma }_Y/{\sigma }_X$
F 检验（简单）	$F=\mathrm{RegMS}/\mathrm{ResMS}\sim F_{1,n-2}$
t 检验（斜率）	$t=\hat{\beta }/\mathrm{se}(\hat{\beta })\sim t_{n-2}$
$R^2$	$\mathrm{RegSS}/\mathrm{TSS}$
$R_{\text{adj}}^2$	$1-\mathrm{ResMS}/\mathrm{TMS}$
群体均值 CI	${\hat{y}}_0\pm t\sqrt{{\sigma }^2[1/n+(x_0-\overline{x}{)}^2/\sum (x_i-\overline{x}{)}^2]}$
个体 PI	${\hat{y}}_0\pm t\sqrt{{\sigma }^2[1+1/n+(x_0-\overline{x}{)}^2/\sum (x_i-\overline{x}{)}^2]}$
标准化系数	${\hat{\beta }}^s=\hat{\beta }{\sigma }_X/{\sigma }_Y$

---

10. 自测要点（Checklist）

简单回归

• [ ] 模型 $y\sim N(\alpha +\beta x,{\sigma }^2)$ 的三个参数
• [ ] OLS 推导（最小化残差平方和、求偏导得正规方程）
• [ ] 直线必经过 $(\overline{x},\overline{y})$
• [ ] F 检验、t 检验在简单回归中的等价性
• [ ] $\hat{\beta }=\hat{\rho }{\sigma }_Y/{\sigma }_X$

相关

• [ ] Pearson 相关与 Spearman 相关的差别
• [ ] 相关 = 0 不等于独立
• [ ] 相关与因果的区别

拟合度

• [ ] $R^2$ 与 $R_{\text{adj}}^2$ 的差别
• [ ] 何时用 Q-Q 图、何时用残差散点图
• [ ] 异方差/非线性的对应处理（变换、多项式）

预测

• [ ] CI vs PI 的方差差别（$+{\sigma }^2$）
• [ ] 为什么 $x_0=\overline{x}$ 时区间最窄

多元回归

• [ ] 偏回归系数的"控制其他变量"含义
• [ ] 整体 F 与单系数 t 检验
• [ ] 标准化系数的尺度统一意义
• [ ] 共线性的危害与对策

ANOVA = 回归

• [ ] $k$ 类用 $k-1$ 个哑变量，参照组的选择
• [ ] 截距 = 参照组均值，系数 = 与参照组的差
• [ ] LSD 检验 ↔ 哑变量回归 t 检验

ANCOVA

• [ ] 等斜率模型的 几何含义（平行线）
• [ ] 加入交互后允许不同斜率
• [ ] 何时需要 ANCOVA：组间协变量不平衡

思考题

1. 一个研究发现"喝咖啡和长寿正相关"，回归系数显著。这能说明咖啡延寿吗？
2. 简单回归中 $R^2=0.9$，但残差 vs $\hat{y}$ 图呈明显 U 形，可信吗？
3. 多元回归中两自变量相关性很高（0.95），t 检验都不显著但 F 检验非常显著，怎么解释？
4. 为什么 ANCOVA 模型默认假设各组斜率相同？检验是否能放松？
5. PI 比 CI 宽，但当 $n\to \mathrm{\infty }$ 时它们趋同吗？为什么？