第 6 章 · 联合分布的随机变量

6.5 条件分布:连续情形

Conditional Distributions: Continuous Case
学习目标
  • 说明连续情形下不能用 \(P(X\le x\,|\,Y=y)\) 直接定义条件分布的原因,并借助微小事件推导条件密度公式;
  • 由联合密度与边缘密度计算条件密度 \(f_{X|Y}(x|y)\),并验证它是合法密度(非负、积分为 1);
  • 计算条件期望 \(E[X\,|\,Y=y]\),并阐明 \(E[X\,|\,Y]\) 作为 \(Y\) 的函数是一个随机变量;
  • 用全期望公式 \(E\big[E[X\,|\,Y]\big]=E[X]\) 完成数值验证与概率计算;
  • 刻画独立情形下"条件分布 = 无条件分布",并与 6.2 节的独立性判别法相互印证。

1. 从"切片"到条件密度

6.4 节中,我们对离散型随机向量定义了条件分布列 \(p_{X|Y}(x|y)=p(x,y)/p_Y(y)\):固定 \(y\),把联合分布列的某一列除以该列之和 \(p_Y(y)\) 即得。连续情形遇到了一个新困难:连续型随机变量取任何单点的概率为零,\(P(Y=y)=0\),因此 \(P(X\le x\,|\,Y=y)\) 不能再按条件概率的比值定义——分子与分母同时为零。出路是"退半步":先让 \(Y\) 落在 \(y\) 附近的一个小区间上,再看比值,最后让区间长度趋于零。

设 \((X,Y)\) 有联合密度 联合密度函数(joint probability density function) \(f(x,y)\),\(Y\) 有边缘密度 \(f_Y(y)\)(其计算见 6.1 节)。当 \(dx,dy\) 很小时,略去高阶无穷小可得 \[ P(x < X \le x+dx \,\big|\, y < Y \le y+dy) = \frac{f(x,y)\,dx\,dy}{f_Y(y)\,dy} = \frac{f(x,y)}{f_Y(y)}\,dx. \] 与第 5 章"密度 × 区间长度 ≈ 概率"的读法对照,上式说明:在已知 \(Y\) 的取值约为 \(y\) 的条件下,\(X\) 的局部概率仍按某个关于 \(x\) 的密度分布,而这个密度恰是比值 \(f(x,y)/f_Y(y)\)。

这一公式也有直观的几何图像:联合密度曲面被平面 \(y=y_0\) 截出一条沿 \(x\) 方向的曲线——切片(slice)。切片 \(x\mapsto f(x,y_0)\) 本身一般不是密度:它下方的面积等于 \(\int f(x,y_0)\,dx=f_Y(y_0)\),未必是 1。把切片整体除以 \(f_Y(y_0)\)(归一化),便得到一条合法的密度曲线(图 1)。这正是离散情形"一列除以列和"的连续翻版——把求和换成了积分。

定义 1 条件密度

设 \((X,Y)\) 为连续型随机向量,联合密度为 \(f(x,y)\),\(Y\) 的边缘密度为 \(f_Y(y)\)。对一切使 \(f_Y(y)>0\) 的 \(y\),定义 \[ f_{X|Y}(x\,|\,y)=\frac{f(x,y)}{f_Y(y)},\qquad -\infty < x < \infty, \] 称为给定 \(Y=y\) 时 \(X\) 的条件密度(conditional density)。其支撑 \(\{x:\ f(x,y)>0\}\) 一般随 \(y\) 而变化。

借助条件密度,条件概率按通常方式定义:\(P(X\in A\,|\,Y=y)=\int_A f_{X|Y}(x|y)\,dx\)。同样可定义 \(f_{Y|X}(y|x)=f(x,y)/f_X(x)\)。

定理 1 条件密度是合法密度

对每个使 \(f_Y(y)>0\) 的 \(y\),函数 \(x\mapsto f_{X|Y}(x|y)\) 非负且 \[ \int_{-\infty}^{\infty} f_{X|Y}(x\,|\,y)\,dx = 1. \]

证明非负性由 \(f\ge 0\)、\(f_Y>0\) 立得。再用边缘密度的定义, \[ \int_{-\infty}^{\infty} f_{X|Y}(x\,|\,y)\,dx = \frac{1}{f_Y(y)}\int_{-\infty}^{\infty} f(x,y)\,dx = \frac{f_Y(y)}{f_Y(y)} = 1. \qquad\blacksquare \]
① 截面(未归一化) ② 条件密度(已归一化) 0 0.5 1 0.5 1 x 截面 g(x) = x + 1/4 面积 = fY(y0) = 3/4 ÷ 3/4 0 0.5 1 0.5 1 1.5 x 面积 = 1 固定 y0 = 1/4:截面除以自身面积(= fY(y0) = 3/4)后,曲线下面积恰为 1
图 1:条件密度的"切片—归一化"图像(以 \(f(x,y)=x+y\)、\(y_0=1/4\) 为例)。左:固定 \(y=y_0\) 时联合密度沿 \(x\) 的截面 \(g(x)=x+1/4\),其下面积恰为边缘密度值 \(f_Y(y_0)=3/4\);右:截面除以该面积后得到条件密度 \((x+1/4)/(3/4)\),积分为 1(定理 1)。
注记 "给定 \(Y=y\)"究竟是什么意思

既然 \(P(Y=y)=0\),严格讨论"以零概率事件为条件"需要测度论中的正则条件分布概念。本教程采取的等价处理是:把 \(f_{X|Y}(x|y)\) 理解为 \(\ P(X\in dx\,|\,y<Y\le y+dy)\) 当 \(dy\to 0\) 时的极限密度。可以验证,对书中遇到的一切例子,这两种方式给出相同而自洽的答案,可放心使用。

2. 条件期望:\(E[X\,|\,Y]\) 是 \(Y\) 的函数

有了条件密度,求条件期望只剩"把条件密度当普通密度求平均"这一步。

定义 2 条件期望

给定 \(Y=y\) 时 \(X\) 的条件期望(conditional expectation) 定义为 \[ E[X\,|\,Y=y] = \int_{-\infty}^{\infty} x\,f_{X|Y}(x\,|\,y)\,dx, \] 设右边绝对收敛。积分的结果不再含 \(x\),是 \(y\) 的函数,记作 \(h(y)\)。

接下来是本节最重要的视角转换:\(E[X\,|\,Y=y]\) 是一个数,而 \(y\) 只是随机变量 \(Y\) 的一个可能取值。让 \(y\) 跟随 \(Y\) 随机取值,便得到 \[ E[X\,|\,Y] = h(Y), \] 它是 \(Y\) 的函数,因而本身是一个随机变量(random variable)!这是初学者最常见的绊脚石:记号 \(E[X\,|\,Y]\) 不是数,在观察到 \(Y\) 之前它的取值并不确定。直观上,\(E[X\,|\,Y]\) 是"先用 \(Y\) 提供的信息对 \(X\) 做平均"的结果;7.4 节将证明:在所有 \(Y\) 的函数中,它是对 \(X\) 的最小均方误差预测

例 1 单位正方形上 \(f(x,y)=x+y\)(核心计算)

设 \((X,Y)\) 的联合密度为 \(f(x,y)=x+y\)(\(0<x<1,\ 0<y<1\),其余处为 0)。(a) 求边缘密度 \(f_Y\);(b) 求条件密度 \(f_{X|Y}\) 并验证其合法性;(c) 求 \(E[X\,|\,Y=y]\) 与 \(E[X\,|\,Y]\)。

(a) 对 \(0<y<1\), \[ f_Y(y)=\int_{0}^{1}(x+y)\,dx=\Big[\frac{x^{2}}{2}+xy\Big]_{0}^{1}=\frac{1}{2}+y, \] 其余处 \(f_Y(y)=0\)(顺带验证规范性:\(\int_0^1(y+\tfrac12)\,dy=1\))。 (b) 由定义 1,对 \(0<x<1\)、\(0<y<1\), \[ f_{X|Y}(x\,|\,y)=\frac{x+y}{y+\tfrac12}. \] 合法性验证:\(\int_0^1\frac{x+y}{y+1/2}\,dx=\frac{1}{y+1/2}\int_0^1(x+y)\,dx=\frac{y+1/2}{y+1/2}=1\),与定理 1 一致。 (c) 按定义 2 逐项积分: \[ E[X\,|\,Y=y]=\int_{0}^{1}x\cdot\frac{x+y}{y+\tfrac12}\,dx =\frac{1}{y+\tfrac12}\int_{0}^{1}\big(x^{2}+yx\big)\,dx =\frac{\tfrac13+\tfrac{y}{2}}{y+\tfrac12} =\frac{2+3y}{3+6y}, \] 最后一步是分子分母同乘 6。由于 \[ h'(y)=\frac{3(3+6y)-6(2+3y)}{(3+6y)^{2}}=\frac{-3}{(3+6y)^{2}}<0, \] 条件期望随 \(y\) 从 \(h(0)=2/3\) 单调下降到 \(h(1)=5/9\)(图 3):\(y\) 越大,条件密度 \((x+y)/(y+1/2)\) 越"平缓",均值越向 \(1/2\) 靠拢。写成随机变量即 \[ E[X\,|\,Y]=\frac{2+3Y}{3+6Y}. \] (对照:\(f_X(x)=x+\tfrac12\),故 \(E[X]=\int_0^1 x(x+\tfrac12)\,dx=\tfrac13+\tfrac14=\tfrac{7}{12}\);它正是图 3 中以 \(f_Y\) 为权的加权平均值,见第 4 小节。)
0 0.25 0.5 0.75 1 0.5 0.6 0.7 y E[X | Y = y] E[X] = 7/12 h(0) = 2/3 h(1) = 5/9 h(y) = (2 + 3y)/(3 + 6y) y = 1/2 时 h(1/2) = 7/12 以权重 fY(y) = y + 1/2 积分:∫ h(y) fY(y) dy = 7/12 = E[X]
图 3:例 1 中条件期望 \(h(y)=E[X\,|\,Y=y]=\dfrac{2+3y}{3+6y}\) 的图像:随 \(y\) 从 0 到 1 单调下降(\(2/3\to 5/9\))。虚线为 \(E[X]=7/12\);曲线以 \(f_Y(y)=y+1/2\) 为权的加权平均恰等于该值——这正是全期望公式(定理 3)的几何体现。
注记 三个记号,三个对象

请严格区分:\(E[X\,|\,Y=y]\) 是(\(y\) 的函数值);\(E[X\,|\,Y]=h(Y)\) 是随机变量(观察到 \(Y\) 之前取值不定);\(E[X]\) 是常数。三者由全期望公式 \(E\big[E[X\,|\,Y]\big]=E[X]\) 联系起来(见第 4 小节)。

3. 三角域上的均匀分布:条件均匀

当联合密度在支撑域上为常数(即区域上的均匀分布,见 6.1 节)时,条件分布呈现最简洁的形态:每个切片上的条件分布都是均匀分布。我们在 6.1、6.2 节反复使用的三角域上把一切算尽。

例 2 三角域 \(0<y<x<1\) 上的均匀分布

设 \((X,Y)\) 在 \(D=\{(x,y):\ 0<y<x<1\}\) 上均匀分布,即 \(f(x,y)=2\)(在 \(D\) 上)。求 \(f_{X|Y}\)、\(f_{Y|X}\)、\(E[X\,|\,Y=y]\) 与 \(E[Y\,|\,X=x]\)。

先求两个边缘密度(注意积分限随位置变化): \[ f_Y(y)=\int_{y}^{1}2\,dx=2(1-y)\ (0<y<1),\qquad f_X(x)=\int_{0}^{x}2\,dy=2x\ (0<x<1). \] 给定 \(Y=y\)(\(0<y<1\))后,\(X\) 只能落在切片 \(y<x<1\) 上,且 \[ f_{X|Y}(x\,|\,y)=\frac{2}{2(1-y)}=\frac{1}{1-y},\qquad y<x<1. \] 该密度与 \(x\) 无关——\(X\,|\,Y=y\) 服从区间 \((y,1)\) 上的均匀分布,记作 \(X|Y=y\sim U(y,1)\),于是 \(E[X\,|\,Y=y]=\dfrac{y+1}{2}\)。 同理,给定 \(X=x\)(\(0<x<1\))后, \[ f_{Y|X}(y\,|\,x)=\frac{2}{2x}=\frac{1}{x},\qquad 0<y<x, \] 即 \(Y|X=x\sim U(0,x)\)(区间 \((0,x)\) 上的均匀分布),且 \[ E[Y\,|\,X=x]=\int_{0}^{x}y\,\frac{1}{x}\,dy=\frac{x}{2}. \] 几何解释(图 2):密度在 \(D\) 上恒为 2,故给定 \(Y=y\) 后 \((X,Y)\) 在水平切片上处处等可能,条件分布必均匀,其高度恰为切片长度的倒数 \(1/(1-y)\);垂直切片同理,高度为 \(1/x\)。
y = x 0 1 1 x y x0 = 3/4 y0 = 1/4 长 = 1 − y0 长 = x0 水平切片(金):y = y0 长 1 − y0,X | Y = y0 ~ U(y0, 1) E[X | Y = y0] = (1 + y0)/2 垂直切片(红):x = x0 长 x0,Y | X = x0 ~ U(0, x0) E[Y | X = x0] = x0/2 域上密度恒为 2,故切片上 条件均匀:高度 = 1 / 切片长
图 2:三角域 \(D=\{0<y<x<1\}\)(\(f\equiv 2\))上的切片。金色的水平切片 \(y=y_0\) 长为 \(1-y_0\),条件分布 \(X|Y=y_0\sim U(y_0,1)\);红色的垂直切片 \(x=x_0\) 长为 \(x_0\),条件分布 \(Y|X=x_0\sim U(0,x_0)\)。切片长度随位置变化,条件密度的高度恰为其倒数。

对照例 1 与例 2 颇有启发:例 1 的支撑是正方形,条件密度的形状(线性递增)不随 \(y\) 变,但高度与位置随 \(y\) 调整;例 2 的支撑是三角形,条件密度恒为均匀,但所在区间随条件值滑动。两种机制都使条件分布随 \(y\)(或 \(x\))变化,因而 \(X\) 与 \(Y\) 都不独立——这与 6.2 节"支撑非矩形必不独立""密度不可分离必不独立"的判别法完全一致。

表 1:例 1 与例 2 的条件分布汇总
项目例 1:\(f=x+y\),\(0<x,y<1\)例 2:\(f=2\),\(0<y<x<1\)
\(f_Y(y)\)\(y+\tfrac12\)\(2(1-y)\)
\(f_{X|Y}(x|y)\)\(\dfrac{x+y}{y+1/2}\),\(0<x<1\)\(\dfrac{1}{1-y}\),\(y<x<1\)(均匀)
\(E[X|Y=y]\)\(\dfrac{2+3y}{3+6y}\)\(\dfrac{1+y}{2}\)
\(f_X(x)\)\(x+\tfrac12\)\(2x\)
\(f_{Y|X}(y|x)\)\(\dfrac{x+y}{x+1/2}\),\(0<y<1\)\(\dfrac{1}{x}\),\(0<y<x\)(均匀)
\(E[Y|X=x]\)\(\dfrac{3x+2}{6x+3}\)\(\dfrac{x}{2}\)
\(E[X]\),\(E[Y]\)\(\tfrac{7}{12}\),\(\tfrac{7}{12}\)\(\tfrac{2}{3}\),\(\tfrac{1}{3}\)

4. 独立性与全期望公式

若 \(X\) 与 \(Y\) 独立,则"知道 \(Y\)"不提供关于 \(X\) 的任何信息,条件分布应当还原为无条件分布;反之,若对每个 \(y\) 条件密度都与 \(y\) 无关且等于边缘密度,则 \(X\) 与 \(Y\) 独立。

定理 2 独立性与条件分布

设 \(f_Y(y)>0\) 的 \(y\) 处处有定义。则 \(X\) 与 \(Y\) 独立,当且仅当对一切这样的 \(y\) 及一切 \(x\), \[ f_{X|Y}(x\,|\,y)=f_X(x). \] 此时有乘法重构 \(f(x,y)=f_Y(y)\,f_{X|Y}(x\,|\,y)=f_X(x)f_Y(y)\)。

证明若独立,则 \(f(x,y)=f_X(x)f_Y(y)\),两边除以 \(f_Y(y)\) 即得 \(f_{X|Y}=f_X\)。反之,若 \(f_{X|Y}(x|y)=f_X(x)\),把它代回定义 1 并两边乘 \(f_Y(y)\):\(f(x,y)=f_Y(y)f_{X|Y}(x|y)=f_X(x)f_Y(y)\),此即 6.2 节的独立判别条件。□
例 3 独立时条件密度 = 无条件密度

设 \(f(x,y)=e^{-(x+y)}\)(\(x>0,\ y>0\))。求 \(f_{X|Y}\) 并与 \(f_X\) 比较。

\(f_Y(y)=\displaystyle\int_{0}^{\infty}e^{-(x+y)}\,dx=e^{-y}\)(\(y>0\))。于是 \[ f_{X|Y}(x\,|\,y)=\frac{e^{-(x+y)}}{e^{-y}}=e^{-x},\qquad x>0, \] 而由对称性 \(f_X(x)=e^{-x}\)。条件密度与 \(y\) 完全无关且等于边缘密度——按定理 2,\(X\) 与 \(Y\) 独立,与 6.2 节用"密度可分离"得到的结论一致。

\(E[X\,|\,Y]\) 是随机变量,于是它可以再求期望。所得的数与 \(E[X]\) 相同——这就是本节最重要的公式。

定理 3 全期望公式

设 \(E\,|X|<\infty\),则 \[ E\big[E[X\,|\,Y]\big] = E[X]. \] (law of total expectation,又称重期望公式。)

证明记 \(h(y)=E[X\,|\,Y=y]\)。用 \(E[X\,|\,Y]=h(Y)\) 的密度(\(Y\) 的密度驱动的变量代换)与定义 1、定义 2: \[ E\big[E[X\,|\,Y]\big] = \int_{-\infty}^{\infty} h(y)\,f_Y(y)\,dy = \int_{-\infty}^{\infty}\!\left(\int_{-\infty}^{\infty} x\,\frac{f(x,y)}{f_Y(y)}\,dx\right) f_Y(y)\,dy = \iint x\,f(x,y)\,dx\,dy = E[X], \] 其中 \(f_Y(y)\) 先乘入再约去,最后一步正是 6.1 节"由联合求期望"的公式;交换积分次序的合法性由 Fubini 定理保证。□
例 4 全期望公式的数值验证

在例 2 的三角域上,分别对 \(E[Y\,|\,X]\) 与 \(E[X\,|\,Y]\) 验证定理 3。

由例 2,\(E[Y\,|\,X]=X/2\),\(E[X\,|\,Y]=(1+Y)/2\)。一方面, \[ E\big[E[Y\,|\,X]\big]=E\!\left[\frac{X}{2}\right]=\int_{0}^{1}\frac{x}{2}\cdot 2x\,dx=\int_{0}^{1}x^{2}\,dx=\frac{1}{3}; \] 另一方面, \[ E[Y]=\int_{0}^{1}y\cdot 2(1-y)\,dy=2\left(\frac{1}{2}-\frac{1}{3}\right)=\frac{1}{3}. \quad\checkmark \] 另一方向:\(E\big[E[X\,|\,Y]\big]=\displaystyle\int_{0}^{1}\frac{1+y}{2}\cdot 2(1-y)\,dy=\int_{0}^{1}(1-y^{2})\,dy=\frac{2}{3}\),而 \(E[X]=\int_{0}^{1}x\cdot 2x\,dx=2/3\)。\(\checkmark\) 例 1 的情形留作练习 3(答案 \(7/12\),即图 3 中虚线的高度)。
注记 条件化:计算期望的一般策略

全期望公式给出了一种"分而治之"的算法:当 \(E[X]\) 难以直接积分时,先找一变量 \(Y\) 条件化(求 \(E[X\,|\,Y=y]\),往往只需均匀分布或一元密度),再对 \(Y\) 平均。练习 4 的概率计算即用此法。7.4 节将系统展开条件期望的性质(线性、取出已知变量、最小均方预测等)及其在随机个数求和等问题中的应用;本节只要求会算、会验证。

5. 本节小结

要点回顾
  • 连续情形不能直接用 \(P(X\le x\,|\,Y=y)\)(因 \(P(Y=y)=0\)),应通过微小事件之比定义条件密度 \(f_{X|Y}(x|y)=f(x,y)/f_Y(y)\):切片除以切片的面积(=边缘密度值)。它是合法密度(定理 1),且 \(P(X\in A|Y=y)=\int_A f_{X|Y}\,dx\)。
  • 条件期望 \(E[X\,|\,Y=y]=\int x\,f_{X|Y}(x|y)\,dx\) 是 \(y\) 的函数 \(h(y)\);\(E[X\,|\,Y]=h(Y)\) 是随机变量,与数 \(E[X\,|\,Y=y]\)、常数 \(E[X]\) 严格区分。
  • 全期望公式:\(E\big[E[X\,|\,Y]\big]=E[X]\);三角域上 \(E[E[Y|X]]=E[X/2]=1/3=E[Y]\) 已数值验证。
  • 独立 ⟺ 条件分布 = 无条件分布,且联合可由"边缘 × 条件"重构:\(f(x,y)=f_Y(y)f_{X|Y}(x|y)\)。
  • 区域上的均匀分布,其条件分布是切片上的均匀分布:三角域 \(0<y<x<1\) 上 \(X|Y=y\sim U(y,1)\)(密度 \(1/(1-y)\)),\(Y|X=x\sim U(0,x)\)(密度 \(1/x\)),\(E[Y|X=x]=x/2\)。

练习

练习 6-5-1

在三角域 \(D=\{0<y<x<1\}\)(\(f=2\))上求 \(E[X\,|\,Y=y]\),并指出条件分布的类型。

答案与提示

\(f_Y(y)=2(1-y)\),\(f_{X|Y}(x|y)=1/(1-y)\)(\(y<x<1\))与 \(x\) 无关,故 \(X|Y=y\sim U(y,1)\),\(E[X\,|\,Y=y]=(y+1)/2\)。切片越靠近顶端(\(y\) 越大)越短,条件均值越小。

练习 6-5-2

设 \(f(x,y)=e^{-(x+y)}\)(\(x>0,\ y>0\))。求 \(f_{X|Y}\) 与 \(f_X\),验证两者相等,并说明这蕴含什么。

答案与提示

\(f_Y(y)=e^{-y}\),\(f_{X|Y}(x|y)=e^{-(x+y)}/e^{-y}=e^{-x}=f_X(x)\)(\(x>0\))。条件分布与无条件分布相同,由定理 2 知 \(X\) 与 \(Y\) 独立(与 6.2 节"密度可分离"的判别一致)。

练习 6-5-3

对例 1 的 \(f(x,y)=x+y\)(\(0<x,y<1\))验证全期望公式:分别计算 \(E\big[E[X\,|\,Y]\big]\) 与 \(E[X]\)。

答案与提示

\(E\big[E[X\,|\,Y]\big]=\displaystyle\int_0^1\frac{2+3y}{3+6y}\Big(y+\frac12\Big)dy=\int_0^1\Big(\frac13+\frac y2\Big)dy=\frac13+\frac14=\frac{7}{12}\)(利用 \(3+6y=6(y+1/2)\) 约分);而 \(f_X(x)=x+\tfrac12\),\(E[X]=\int_0^1 x(x+\tfrac12)\,dx=\tfrac{7}{12}\)。两者相等,即图 3 虚线高度。

练习 6-5-4

在例 2 的三角域上,利用条件分布计算 \(P(Y<X/2)\),再用二重积分直接验证。

答案与提示

给定 \(X=x\),\(Y|X=x\sim U(0,x)\),故 \(P(Y<x/2\,|\,X=x)=\tfrac{x/2}{x}=\tfrac12\),于是 \(P(Y<X/2)=E\big[\tfrac12\big]=\tfrac12\)(全期望公式用于概率)。直接验证:\(\int_0^1\!\int_0^{x/2}2\,dy\,dx=\int_0^1 x\,dx=\tfrac12\)。\(\checkmark\)