第 7 章 · 期望的性质

7.3 协方差、和的方差与相关系数

Covariance, Variance of Sums, and Correlations
学习目标
  • 写出协方差(covariance)的定义与等价计算式,并能运用其对称性与双线性(bilinearity)化简计算;
  • 推导并牢记"随机变量之和的方差"公式,说明独立(不相关)时方差可以相加的条件;
  • 构造并解释"Cov = 0 但不独立"的反例 \(X\sim N(0,1),\ Y=X^2\),准确辨析"不相关"与"独立";
  • 证明 \(|\rho|\le 1\) 及取等与线性关系的等价性,理解相关系数(correlation coefficient)只度量线性相依;
  • 推导样本均值(sample mean)的方差 \(\mathrm{Var}(\bar X)=\sigma^2/n\),并运用于组合风险与测量精度两类计算。

1. 协方差:定义与基本性质

7.2 节我们看到,期望的线性性 \(\ E[\sum_i X_i]=\sum_i E[X_i]\) 无须任何独立性条件。方差则没有这般好运:一般而言 \(\mathrm{Var}(X+Y)\ne \mathrm{Var}(X)+\mathrm{Var}(Y)\),差别恰恰在于两个随机变量是否"同向变动"——\(X\) 高于平均水平时 \(Y\) 是否也倾向于偏高?度量这种联动的量就是协方差(covariance)。直观上,身高与体重的协方差为正(同增),而一种资产的多头与空头的协方差为负(此消彼长)。

定义 1 协方差

设随机变量 \(X\) 与 \(Y\) 的期望都存在。若下式中的期望有意义,则称 \[ \mathrm{Cov}(X,Y) = E\big[(X-E[X])(Y-E[Y])\big] \] 为 \(X\) 与 \(Y\) 的协方差。等价地(由期望的线性性展开), \[ \mathrm{Cov}(X,Y)=E[XY]-E[X]\,E[Y]. \]

两种形式各有用处:定义式便于直观理解——偏差 \((X-E[X])\) 与 \((Y-E[Y])\) 同号为正贡献、异号为负贡献;计算式则把求 \(\mathrm{Cov}\) 化为求三个期望 \(E[XY], E[X], E[Y]\),通常最为顺手。若 \(\mathrm{Cov}(X,Y)=0\),则称 \(X\) 与 \(Y\) 不相关(uncorrelated)。

定理 1 协方差的性质

对任意使各式有意义的随机变量与常数 \(a,b,c,d\):

  • (对称性)\(\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)\);
  • (退化情形)\(\mathrm{Cov}(X,X)=\mathrm{Var}(X)\),且 \(\mathrm{Cov}(X,c)=0\)——与常数无联动可言;
  • (平移不变)\(\mathrm{Cov}(X+a,\,Y+b)=\mathrm{Cov}(X,Y)\);
  • (双线性)\(\mathrm{Cov}(aX+bY,\ cZ+dW)=ac\,\mathrm{Cov}(X,Z)+ad\,\mathrm{Cov}(X,W)+bc\,\mathrm{Cov}(Y,Z)+bd\,\mathrm{Cov}(Y,W)\),即对每个变量都是线性的。
证明这里证双线性的核心——可加性 \(\mathrm{Cov}(X+Z,\,Y)=\mathrm{Cov}(X,Y)+\mathrm{Cov}(Z,Y)\)。由计算式与期望的线性性(7.2 节), \[ \begin{aligned} \mathrm{Cov}(X+Z,\,Y) &= E[(X+Z)Y]-E[X+Z]\,E[Y]\\ &= E[XY]+E[ZY]-\big(E[X]+E[Z]\big)E[Y]\\ &= \big(E[XY]-E[X]E[Y]\big)+\big(E[ZY]-E[Z]E[Y]\big)\\ &= \mathrm{Cov}(X,Y)+\mathrm{Cov}(Z,Y). \end{aligned} \] 对第一个变量同理。再证常数因子:\(\mathrm{Cov}(aX,Y)=E[aXY]-E[aX]E[Y]=a\,\mathrm{Cov}(X,Y)\)。两者合并即得双线性。对称性与 \(\mathrm{Cov}(X,X)=\mathrm{Var}(X)\) 直接由定义式看出;平移不变性由双线性与 \(\mathrm{Cov}(a,c)=0\) 立得。∎
例 1 掷两颗骰子:Cov = 0,方差相加

掷两颗独立的骰子,点数分别记为 \(X_1, X_2\)。求 \(\mathrm{Cov}(X_1,X_2)\) 与 \(\mathrm{Var}(X_1+X_2)\)。

每颗骰子 \(E[X_i]=\frac{1+2+\cdots+6}{6}=\frac72\)。由独立性(或直接对 36 个等可能结果求平均), \[ E[X_1X_2]=E[X_1]\,E[X_2]=\frac72\cdot\frac72=\frac{49}{4}, \] 故 \[ \mathrm{Cov}(X_1,X_2)=\frac{49}{4}-\frac72\cdot\frac72=0. \] 再算单颗方差:\(E[X_i^2]=\frac{1+4+9+16+25+36}{6}=\frac{91}{6}\),故 \[ \mathrm{Var}(X_i)=\frac{91}{6}-\Big(\frac72\Big)^2=\frac{91}{6}-\frac{49}{4}=\frac{35}{6}\approx 5.83. \] 于是(利用定理 2,或直接验证) \[ \mathrm{Var}(X_1+X_2)=\frac{35}{6}+\frac{35}{6}+2\cdot 0=\frac{35}{3}\approx 11.67, \qquad \sigma_{X_1+X_2}\approx 3.42. \] 独立使协方差为零,于是"方差相加"。若两变量不独立(见例 2),这样做就会出错。

2. 随机变量之和的方差

把定理 1 的双线性当作杠杆,"和的方差"公式几乎是一行推论——这正是先研究协方差的主要原因。

定理 2 和的方差公式

设 \(X_1,\dots,X_n\) 的方差都存在,则 \[ \mathrm{Var}\Big(\sum_{i=1}^n X_i\Big)=\sum_{i=1}^n \mathrm{Var}(X_i)+2\sum_{i<j}\mathrm{Cov}(X_i,X_j). \] 特别地,\(n=2\) 时 \(\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\,\mathrm{Cov}(X,Y)\),而 \(\mathrm{Var}(X-Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)-2\,\mathrm{Cov}(X,Y)\)。

证明利用 \(\mathrm{Var}(\cdot)=\mathrm{Cov}(\cdot,\cdot)\) 与双线性,两次展开: \[ \mathrm{Var}\Big(\sum_i X_i\Big)=\mathrm{Cov}\Big(\sum_i X_i,\ \sum_j X_j\Big)=\sum_i\sum_j \mathrm{Cov}(X_i,X_j). \] 把双重和按对角线拆开:\(i=j\) 的项即 \(\sum_i\mathrm{Var}(X_i)\);\(i\ne j\) 的项由对称性两两相等,合并为 \(2\sum_{i<j}\mathrm{Cov}(X_i,X_j)\)。∎
推论 1 不相关(特别地,独立)时方差相加

若 \(X_1,\dots,X_n\) 两两不相关——即一切 \(i\ne j\) 有 \(\mathrm{Cov}(X_i,X_j)=0\)(相互独立是充分条件,证明见练习 2),则 \[ \mathrm{Var}\Big(\sum_{i=1}^n X_i\Big)=\sum_{i=1}^n\mathrm{Var}(X_i). \]

对比 7.2 节:期望相加无条件成立,方差相加需要两两不相关——这就是独立性在"求和"问题中真正买到的东西。

下面的警示必须牢记:"不相关"远弱于"独立"。协方差只捕捉"同增同减"式的线性联动;当依赖关系"先降后升"或呈其他对称形态时,正负贡献可能恰好抵消,使协方差为零。

定理 3(警示) Cov = 0 推不出独立

存在不相关但强相依的随机变量:取 \(X\sim N(0,1)\),令 \(Y=X^2\),则 \(\mathrm{Cov}(X,Y)=0\),但 \(Y\) 完全由 \(X\) 决定,二者绝非独立。

验证标准正态密度 \(\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}\) 是偶函数,故 \(x^3\varphi(x)\) 是奇函数,从而三阶矩 \[ E[XY]=E[X\cdot X^2]=E[X^3]=\int_{-\infty}^{\infty}x^3\varphi(x)\,\mathrm{d}x=0, \] 又 \(E[X]=0\),\(E[Y]=E[X^2]=1\),于是 \[ \mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]=0-0\cdot 1=0. \] 然而知道 \(X\) 就精确知道 \(Y=X^2\):事件 \(\{1<X<2\}\) 一旦发生,\(Y\in(1,4)\) 便成为必然。直观上,\(X<0\) 的部分 \(X\) 增时 \(Y\) 减(负贡献),\(X>0\) 的部分同增(正贡献),两侧对称抵消,协方差归零。∎

事实上,任何关于原点对称的分布(如 \(X\sim U(-1,1)\))配 \(Y=X^2\) 都有同样现象。反过来,独立必不相关(练习 2);唯一的重要例外是二元正态情形——那里"不相关"与"独立"等价,详见 7.7 节

3. 相关系数:线性关联的标准化度量

协方差带有量纲(两个变量单位的乘积),大小无法跨问题比较:把身高从厘米换成米,协方差就被除以 100。除以两个标准差便得到无量纲的相关系数(correlation coefficient)。

定义 2 相关系数

设 \(\sigma_X=\sqrt{\mathrm{Var}(X)}>0\),\(\sigma_Y=\sqrt{\mathrm{Var}(Y)}>0\),称 \[ \rho(X,Y)=\frac{\mathrm{Cov}(X,Y)}{\sigma_X\,\sigma_Y} \] 为 \(X\) 与 \(Y\) 的相关系数。它是不依赖于变量单位与原点选取的纯数。

定理 4 \(|\rho|\le 1\),且取等当且仅当线性关系

(i)恒有 \(-1\le \rho(X,Y)\le 1\);(ii)\(\rho=1\) 当且仅当存在常数 \(a>0,\,b\) 使 \(Y=aX+b\) 以概率 1 成立;\(\rho=-1\) 当且仅当存在 \(a<0,\,b\) 使 \(Y=aX+b\) 以概率 1 成立。

证明把两个变量标准化:\(U=\dfrac{X-E[X]}{\sigma_X}\),\(V=\dfrac{Y-E[Y]}{\sigma_Y}\),则 \(E[U]=E[V]=0\),\(\mathrm{Var}(U)=\mathrm{Var}(V)=1\),且由定理 1 的双线性(平移、伸缩)得 \(\mathrm{Cov}(U,V)=\rho\)。于是 \[ 0\le \mathrm{Var}(U-V)=1+1-2\rho=2(1-\rho)\ \Rightarrow\ \rho\le 1, \] \[ 0\le \mathrm{Var}(U+V)=1+1+2\rho=2(1+\rho)\ \Rightarrow\ \rho\ge -1. \] 若 \(\rho=1\),则 \(\mathrm{Var}(U-V)=0\),而方差为零的随机变量几乎必然等于其期望(此处为 \(0\)),故 \(U=V\) 以概率 1 成立,即 \[ Y=E[Y]+\frac{\sigma_Y}{\sigma_X}\big(X-E[X]\big), \] 一条斜率为正的直线;\(\rho=-1\) 时同理得 \(U=-V\),斜率为负。反之,若 \(Y=aX+b\) 以概率 1 成立,则 \(\mathrm{Cov}(X,Y)=a\,\mathrm{Var}(X)\),\(\sigma_Y=|a|\,\sigma_X\),代入得 \(\rho=a/|a|=\mathrm{sign}(a)\)。∎

因此 \(\rho\) 是线性相依强度的刻度:\(|\rho|\) 越接近 1,散点越贴近某条直线;\(\rho\) 的符号给出直线的方向。而 \(\rho\) 接近 0 只说明"没有线性趋势",说明没有关系——定理 3 中 \(X\) 与 \(X^2\) 的 \(\rho=0\),依赖却百分百存在。

例 2 完全负线性:\(X\) 为骰子点数,\(Y=7-X\)

掷一颗骰子,\(X\) 为点数,\(Y=7-X\)。求 \(\rho(X,Y)\)。

由 \(X+Y=7\) 恒成立,得 \(\mathrm{Var}(X+Y)=\mathrm{Var}(7)=0\)。另一方面,\(\mathrm{Var}(Y)=\mathrm{Var}(7-X)=\mathrm{Var}(X)=\frac{35}{6}\)(例 1),代入定理 2 的 \(n=2\) 情形: \[ 0=\mathrm{Var}(X+Y)=\frac{35}{6}+\frac{35}{6}+2\,\mathrm{Cov}(X,Y) \ \Longrightarrow\ \mathrm{Cov}(X,Y)=-\frac{35}{6}. \] 又 \(\sigma_X\sigma_Y=\sqrt{35/6}\cdot\sqrt{35/6}=\frac{35}{6}\),故 \[ \rho(X,Y)=\frac{-35/6}{35/6}=-1. \] 这与定理 4 完全吻合:所有可能点对 \((X,Y)\) 都落在直线 \(y=7-x\) 上,斜率 \(-1<0\),是完全负线性关系。顺带注意:期望相加无须任何条件,\(E[X+Y]=7\)(7.2 节);方差却因完全负相关而互相抵消为零——与例 1 的独立情形(方差相加得 \(35/3\))恰成两个极端。
ρ ≈ 0.95(强正线性) ρ ≈ 0.3(弱正线性) ρ ≈ 0(无线性相关) ρ ≈ −0.9(强负线性)
图 1:四种相关形态的散点(虚线为线性趋势)。左上 \(\rho\approx0.95\):点紧贴上升直线;右上 \(\rho\approx0.3\):有上升倾向但噪声很大;右下 \(\rho\approx-0.9\):紧贴下降直线(如例 2 的 \(X\) 与 \(7-X\))。左下 \(\rho\approx0\):散点呈抛物线带状——完全没有线性趋势,却有确定性的曲线关系,再次印证 \(\rho\) 只度量线性相依。

还应强调:\(\rho^2\) 有明确的预测含义——用最优直线 \(aX+b\) 预测 \(Y\) 时,残差方差为 \(\sigma_Y^2(1-\rho^2)\),即 \(\rho^2\) 是"线性预测可解释"的方差比例。这一事实将在 7.5 节(条件期望与预测)中严格展开;届时也会看到,线性预测一般劣于条件期望 \(E[Y\,|\,X]\),只有二元正态时二者恰好一致。

4. 两个应用:组合分散化与样本均值

定理 2 是"分散化"(diversification) 的数学引擎:只要协方差项之和为负,组合的风险就低于各成分风险的叠加。金融中的证券组合(portfolio)选择是其最著名的应用。

例 3 组合对冲:\(\sigma_A=\sigma_B=10\%\),\(\rho=-0.5\)

两种资产的收益率分别为 \(R_A,\ R_B\),波动率 \(\sigma_A=\sigma_B=10\%\),相关系数 \(\rho(R_A,R_B)=-0.5\)。考虑等权组合 \(R_P=\frac12 R_A+\frac12 R_B\),求组合波动率 \(\sigma_P\);再求一般权重 \(w\) 下组合方差的最小值。

期望由线性性(7.2 节,无须独立):\(E[R_P]=\frac12 E[R_A]+\frac12 E[R_B]\)。方差用定理 2(以 % 为单位,\(\sigma_A^2=\sigma_B^2=100\,%^2\),协方差 \(\rho\sigma_A\sigma_B=-50\,%^2\)): \[ \mathrm{Var}(R_P)=\frac14\cdot 100+\frac14\cdot 100+2\cdot\frac12\cdot\frac12\cdot(-50) =25+25-25=25\,%^2, \] 故 \(\sigma_P=\sqrt{25}=5\%\)——风险减半,低于任一单个资产的 \(10\%\)。

一般地取权重 \(w\)(投向 \(A\)),\(1-w\) 投向 \(B\): \[ \sigma_P^2(w)=w^2\sigma_A^2+(1-w)^2\sigma_B^2+2w(1-w)\rho\,\sigma_A\sigma_B =100\big(3w^2-3w+1\big). \] 对 \(w\) 求导:\(\frac{\mathrm{d}\sigma_P^2}{\mathrm{d}w}=100(6w-3)=0\) 给出最小方差组合(minimum-variance portfolio)的权重 \[ w^{*}=\frac12, \] (两资产 \(\sigma\) 相等,故等权即最优),最小方差 \(100(3/4-3/2+1)=25\,%^2\),即 \(\sigma_P=5\%\),与等权计算一致。对照:若 \(\rho=+0.5\),则 \(\sigma_P^2(w)=100(w^2-w+1)\ge 75\,%^2\),最优也有 \(\sigma_P\approx 8.66\%\);若 \(\rho=-1\),取 \(w^{*}=\frac12\) 可使 \(\sigma_P=0\)——完全对冲(perfect hedge)。相关系数越负,分散化红利越大。

0 25 50 75 100 0 0.25 0.5 0.75 1 资产 A 的权重 w(其余投向 B) σP²(w) = 100w² + 100(1−w)² − 100w(1−w) = 100(3w² − 3w + 1) (σA = σB = 10%,ρ = −0.5;单位:%²) 组合方差 σP²(%²) w = 0:全 B,σ² = 100 w = 1:全 A,σ² = 100 最小方差组合:w* = 0.5 σ² = 25 ⇒ σ = 5%(风险减半)
图 2:例 3 中组合方差 \(\sigma_P^2(w)=100(3w^2-3w+1)\) 随权重 \(w\) 变化的抛物线(% 为单位)。两端(全仓单一资产)方差为 100;由于 \(\rho=-0.5\),抛物线在 \(w^{*}=0.5\) 处降到最低值 25,对应波动率从 10% 降至 5%。负相关把"风险曲线"压到了两个端点之下——这就是分散化。

第二个应用是统计学的基石。设 \(X_1,\dots,X_n\) 独立同分布(i.i.d.),均值 \(\mu\)、方差 \(\sigma^2\),样本均值(sample mean) \(\bar X=\frac{1}{n}\sum_{i=1}^n X_i\)。我们在 7.2 节已知 \(E[\bar X]=\mu\);其方差可由推论 1 立刻得到。

定理 5 样本均值的方差

若 \(X_1,\dots,X_n\) 独立同分布,\(\mathrm{Var}(X_i)=\sigma^2\),则 \[ \mathrm{Var}(\bar X)=\frac{\sigma^2}{n}, \qquad \sigma_{\bar X}=\frac{\sigma}{\sqrt{n}}. \]

证明独立性使一切协方差为零(推论 1),再注意方差对常数因子的性质 \(\mathrm{Var}(cY)=c^2\mathrm{Var}(Y)\): \[ \mathrm{Var}(\bar X)=\mathrm{Var}\Big(\frac{1}{n}\sum_{i=1}^n X_i\Big) =\frac{1}{n^2}\,\mathrm{Var}\Big(\sum_{i=1}^n X_i\Big) =\frac{1}{n^2}\cdot n\sigma^2 =\frac{\sigma^2}{n}. \quad\blacksquare \]

这给出了著名的"\(\sqrt n\) 法则":平均的精度(标准差)按 \(\sqrt n\) 的速度提升,它正是第 8 章大数定律的方差版本——\(\mathrm{Var}(\bar X)\to 0\) 说明 \(\bar X\) 依概率收敛于 \(\mu\)。

例 4 \(\sigma=1,\ n=100\):精度从 1 到 0.1

对某物理量独立重复测量 \(100\) 次,每次测量的标准差为 \(\sigma=1\)(单位同被测量)。求 \(100\) 次平均值的方差与标准差;若想把平均的标准差再降到 \(0.01\),需要多少次测量?

记测量值为 \(X_1,\dots,X_{100}\),视为 i.i.d.,\(\sigma=1\)。由定理 5: \[ \mathrm{Var}(\bar X)=\frac{\sigma^2}{n}=\frac{1}{100}=0.01, \qquad \sigma_{\bar X}=\frac{1}{\sqrt{100}}=\frac{1}{10}=0.1. \] 单次测量的标准差为 \(1\),取 \(100\) 次平均后降到 \(0.1\)。若要求 \(\sigma/\sqrt{n}=0.01\),则需 \(\sqrt{n}=100\),即 \(n=10^4\) 次——精度每提高 10 倍,样本量须乘以 100,这正是 \(\sqrt n\) 法则的代价面。
注记 相关系数的出身与"相关 ≠ 因果"

"相关"(correlation)一词由高尔顿(Francis Galton)在 1888 年前后研究豌豆尺寸与亲子身高的遗传数据时提出,"回归"(regression)同样源于他的发现——极端父母的子女会"向平均回归";皮尔逊(Karl Pearson)随后给出了矩表达式的标准化形式。例 3 与图 2 的组合分析则直接来自马科维茨(H. Markowitz)1952 年的均值—方差组合理论(1990 年诺贝尔经济学奖),本节公式正是其最简版本。最后必须牢记:相关不等于因果——冰淇淋销量与溺水人数显著正相关,共同原因却是气温。\(\rho\) 只刻画统计上的线性共变,从不言明机制。

5. 本节小结

要点回顾
  • \(\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]\);对称、双线性、加常数不变,\(\mathrm{Cov}(X,X)=\mathrm{Var}(X)\)。
  • \(\mathrm{Var}(\sum_i X_i)=\sum_i\mathrm{Var}(X_i)+2\sum_{i<j}\mathrm{Cov}(X_i,X_j)\);两两不相关(特别地独立)时方差相加。
  • 不相关 \(\ne\) 独立:\(X\sim N(0,1),\ Y=X^2\) 有 \(\mathrm{Cov}=0\)(因 \(E[X^3]=0\)),但 \(Y\) 完全由 \(X\) 决定。
  • \(\rho=\mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)\),\(|\rho|\le 1\);\(|\rho|=1\) 当且仅当几乎必然的线性关系;\(\rho\) 只度量线性相依。
  • 两骰独立:\(\mathrm{Cov}=0\),\(\mathrm{Var}(X_1+X_2)=35/6+35/6=35/3\);完全负线性 \(Y=7-X\):\(\rho=-1\),\(\mathrm{Var}(X+Y)=0\)。
  • 应用:\(\rho=-0.5\) 的等权两资产组合 \(\sigma=5\%\)(最小方差权重 \(w^{*}=0.5\));i.i.d. 样本 \(\mathrm{Var}(\bar X)=\sigma^2/n\),标准差按 \(\sqrt n\) 收缩。
表 1:本节核心公式速查
对象公式关键性质 / 条件
协方差\(\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]\)对称、双线性;独立 ⇒ \(\mathrm{Cov}=0\)(逆不真)
和的方差\(\mathrm{Var}(\sum_i X_i)=\sum_i \mathrm{Var}(X_i)+2\sum_{i<j}\mathrm{Cov}(X_i,X_j)\)两两不相关时退化为方差相加
相关系数\(\rho=\mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)\)\(-1\le\rho\le1\);\(|\rho|=1\)\(\iff\)几乎必然线性;只测线性
样本均值方差\(\mathrm{Var}(\bar X)=\sigma^2/n\)i.i.d. 前提;标准差 \(\sigma/\sqrt n\)(\(\sqrt n\) 法则)

练习

练习 7-3-1

由矩求协方差与线性组合的方差:设 \(E[X]=1\),\(E[Y]=2\),\(E[X^2]=4\),\(E[Y^2]=9\),\(E[XY]=0.5\)。求 \(\mathrm{Cov}(X,Y)\)、\(\rho(X,Y)\) 与 \(\mathrm{Var}(2X-3Y)\)。

答案与提示

\(\mathrm{Var}(X)=4-1=3\),\(\mathrm{Var}(Y)=9-4=5\),\(\mathrm{Cov}(X,Y)=0.5-1\cdot2=-1.5\);\(\rho=-1.5/\sqrt{15}\approx-0.39\)。由双线性(或定理 2 的推广):\(\mathrm{Var}(2X-3Y)=4\cdot3+9\cdot5+2\cdot2\cdot(-3)\cdot(-1.5)=12+45+18=75\)。注意协方差为负使"差方向"的组合方差更大、和方向更小。

练习 7-3-2

证明:若 \(X\) 与 \(Y\) 相互独立且方差有限,则 \(\mathrm{Cov}(X,Y)=0\)。逆命题是否成立?

答案与提示

独立时乘积期望等于期望之积 \(E[XY]=E[X]E[Y]\)(见第 6 章独立性一节),代入定义式立得 \(\mathrm{Cov}(X,Y)=0\)。逆命题不成立:定理 3 的反例 \(X\sim N(0,1),\ Y=X^2\) 不相关却强相依;但在二元正态情形下"不相关"与"独立"等价(7.7 节),这是正态分布的特殊品格。

练习 7-3-3

等相关的均值:设 \(X_1,\dots,X_n\) 满足 \(\mathrm{Var}(X_i)=\sigma^2\),且任意 \(i\ne j\) 有 \(\mathrm{Corr}(X_i,X_j)=\rho\)。证明 \(\mathrm{Var}(\bar X)=\dfrac{\sigma^2\big(1+(n-1)\rho\big)}{n}\),并说明 \(\rho\ge -\dfrac{1}{n-1}\);取 \(\sigma^2=1,\ \rho=0.25,\ n=100\) 时 \(\mathrm{Var}(\bar X)\) 是多少?

答案与提示

\(\mathrm{Cov}(X_i,X_j)=\rho\sigma^2\),共 \(\binom n2=n(n-1)/2\) 对。由定理 2: \[ \mathrm{Var}\Big(\sum_i X_i\Big)=n\sigma^2+2\cdot\frac{n(n-1)}{2}\rho\sigma^2=n\sigma^2\big(1+(n-1)\rho\big), \] 除以 \(n^2\) 即得结论。由 \(\mathrm{Var}(\bar X)\ge0\) 且 \(n\ge2\) 得 \(\rho\ge-1/(n-1)\)(\(n\) 个变量不可能两两达到 \(-1\) 的完全负相关)。数值:\(\mathrm{Var}(\bar X)=\frac{1+99\times0.25}{100}=\frac{25.75}{100}=0.2575\),是独立情形 \(0.01\) 的 25 倍多——"共同冲击"(common shock)使平均的方差不再按 \(1/n\) 收缩,这正是定理 5 需要独立(或至少两两不相关)的原因。

练习 7-3-4

用双线性证明 \(\mathrm{Cov}(X+Y,\ X-Y)=\mathrm{Var}(X)-\mathrm{Var}(Y)\);由此说明当 \(\mathrm{Var}(X)=\mathrm{Var}(Y)\) 时 \(X+Y\) 与 \(X-Y\) 不相关。它们一定独立吗?

答案与提示

由双线性展开 \(\mathrm{Cov}(X+Y,X)-\mathrm{Cov}(X+Y,Y)=\big[\mathrm{Var}(X)+\mathrm{Cov}(Y,X)\big]-\big[\mathrm{Cov}(X,Y)+\mathrm{Var}(Y)\big]=\mathrm{Var}(X)-\mathrm{Var}(Y)\)。方差相等时协方差为零,故不相关;但由定理 3 的警示,不相关一般推不出独立——不过可以证明当 \((X,Y)\) 为二元正态时它们确实独立(7.7 节),这一"和与差独立"的性质是正态独有的招牌。