第 6 章 · 联合分布的随机变量

6.7 随机变量函数的联合分布

Joint Probability Distribution of Functions of Random Variables
学习目标
  • 能完整叙述二维变量替换定理,写出逆变换与雅可比行列式 \(J=\partial(x,y)/\partial(u,v)\),并说明 \(|J|\) 的几何意义——面积元的局部伸缩率;
  • 能把 5.7 节的一维替换公式视为本定理的特例,用"长度元/面积元"的统一观点理解两者;
  • 熟练完成三大经典计算:等方差正态变量的和差、正态变量之商(柯西分布)与极坐标变换;
  • 说明"等方差时和与差独立"这一现象的几何来源(旋转 45°)及其统计学意义;
  • 会处理变换非一一对应的情形(分块求和),并了解本节结论在模拟(Box–Muller 方法)中的应用。

1. 问题的提出:从一维替换到二维替换

5.7 节中我们解决了"一个随机变量的函数"的分布问题:若连续型变量 \(X\) 的密度为 \(f_X\),\(g\) 单调可微且反函数为 \(h=g^{-1}\),则 \(Y=g(X)\) 的密度为 \(f_Y(y)=f_X(h(y))\,|h'(y)|\)。6.3 节的卷积公式又给出了独立随机变量之和的密度。但这些方法的输出都是一个函数、一个分布——它们是一维的。

本节面对的是真正二维的新问题:设 \((X,Y)\) 有联合密度,取两个函数 \(U=g_1(X,Y)\),\(V=g_2(X,Y)\),要求 \((U,V)\) 的联合密度(joint probability density function) \(f_{U,V}\)。典型如 \(X,Y\) 独立同分布于 \(N(0,1)\) 时取 \(U=X+Y\)(和)与 \(V=X-Y\)(差):\(U\) 与 \(V\) 各自的边缘密度用卷积都不难求出(均为 \(N(0,2)\)),但"和与差是否独立"这类问题必须知道联合密度才能回答——而 6.1 节早已提醒我们:边缘分布无法决定联合分布。一维公式在这里彻底失效,因为 \((X,Y)\mapsto(U,V)\) 是平面到平面的映射,我们需要的是"二重积分换元"的概率版本。

好在核心思想与一维完全相同:概率质量守恒。一维时 \(f_X(x)\,dx=f_Y(y)\,dy\),新旧密度之比等于"长度元"的伸缩率;二维时概率落在小面积元上,\(f_{X,Y}(x,y)\,dx\,dy=f_{U,V}(u,v)\,du\,dv\),密度之比相应地变为"面积元"的局部伸缩率。图 1 先给出直观。

线性替换示例:u = x + y,v = 2y (x, y) 平面 (u, v) 平面 x y 1 2 1 2 面积 1 P T u v 3 6 2 6 面积 2 T(P) 面积元伸缩 2 倍 ⟹ |J| = 1/2
图 1:二维替换下网格的变形。左图 (x,y) 平面的单位方格(面积 1)经线性替换 u=x+y、v=2y 后变为右图的平行四边形网格,高亮方格面积变为 2:面积元处处被放大 |∂(u,v)/∂(x,y)|=2 倍,故密度须乘上 |J|=1/2。点 P 与其像 T(P) 显示对应关系。

2. 替换定理与雅可比行列式

把上述直观精确化需要两样东西:逆变换(inverse transformation)与雅可比行列式(Jacobian determinant)。设变换 \((u,v)=T(x,y)=(g_1(x,y),\,g_2(x,y))\) 在 \((X,Y)\) 的支撑集与其像集之间建立一一对应,记逆变换为 \(x=x(u,v)\),\(y=y(u,v)\),并设它们有一阶连续偏导数。

定义 1 雅可比行列式

\[ J(u,v)=\frac{\partial(x,y)}{\partial(u,v)}=\begin{vmatrix}\dfrac{\partial x}{\partial u} & \dfrac{\partial x}{\partial v}\\[1ex] \dfrac{\partial y}{\partial u} & \dfrac{\partial y}{\partial v}\end{vmatrix} =\frac{\partial x}{\partial u}\frac{\partial y}{\partial v}-\frac{\partial x}{\partial v}\frac{\partial y}{\partial u}. \]

几何意义:\(|J|\) 是逆变换在 \((u,v)\) 附近的面积元局部伸缩率——\((u,v)\) 平面上面积 \(du\,dv\) 的小方块被逆变换映回 \((x,y)\) 平面后,面积约为 \(|J|\,du\,dv\)。图 1 中的替换满足 \(|J|=1/2\):正向面积放大 2 倍,逆向自然缩小一半。

定理 1 二维变量替换定理

设 \((X,Y)\) 有联合密度 \(f_{X,Y}\),变换 \(U=g_1(X,Y)\),\(V=g_2(X,Y)\) 的逆变换 \(x=x(u,v)\),\(y=y(u,v)\) 在像集上连续可微且 \(J(u,v)\neq 0\),则 \((U,V)\) 的联合密度为

\[ f_{U,V}(u,v)=f_{X,Y}\bigl(x(u,v),\,y(u,v)\bigr)\,\bigl|J(u,v)\bigr|, \]

其中 \((u,v)\) 属于变换的像集;像集之外 \(f_{U,V}(u,v)=0\)。

证明取含点 \((u,v)\) 的小矩形 \(A=[u,u+du]\times[v,v+dv]\)。由一一对应,事件 \(\{(X,Y)\in T^{-1}(A)\}=\{(U,V)\in A\}\),两侧概率相等。由一阶泰勒展开,逆变换在 \((u,v)\) 附近近似于线性映射,其矩阵恰为雅可比矩阵;于是 \(A\) 的原像近似为一个平行四边形,两条邻边为向量 \(\bigl(\tfrac{\partial x}{\partial u},\tfrac{\partial y}{\partial u}\bigr)du\) 与 \(\bigl(\tfrac{\partial x}{\partial v},\tfrac{\partial y}{\partial v}\bigr)dv\),其面积按行列式的几何意义等于 \(|J|\,du\,dv\)(图 1 中的高亮方格正是这样的原像)。在这个小平行四边形上 \(f_{X,Y}\) 几乎不变,故

\[ P\bigl((U,V)\in A\bigr)\approx f_{X,Y}\bigl(x(u,v),y(u,v)\bigr)\,|J|\,du\,dv. \]令 \(du,dv\to 0\) 即得密度公式。严格的论证就是数学分析中的二重积分换元定理。

一维公式是特例。只有一个变量时,"平行四边形"退化为区间,\(|J|\) 退化为 \(|h'(y)|\):区间 \([y,y+dy]\) 的原像长度约为 \(|h'(y)|\,dy\)。于是 5.7 节的公式 \(f_Y(y)=f_X(h(y))\,|h'(y)|\) 正是定理 1 的一维版本。两者的统一观点是:密度 = 概率质量 ÷ 几何测度;替换时质量不变,测度按伸缩率换算——一维看长度元,二维看面积元。

表 1:一维替换与二维替换的对照
要点一维(5.7 节)二维(本节)
变换\(Y=g(X)\),反函数 \(x=h(y)\)\(U=g_1(X,Y)\),\(V=g_2(X,Y)\),逆 \(x(u,v),\,y(u,v)\)
伸缩率\(|h'(y)|\)(长度元)\(|J|\)(面积元)
公式\(f_Y(y)=f_X(h(y))|h'(y)|\)\(f_{U,V}=f_{X,Y}(x(u,v),y(u,v))\,|J|\)
注记 使用定理的三点提醒

(i)正向与逆向雅可比互为倒数:在对应点处 \(\bigl|\tfrac{\partial(u,v)}{\partial(x,y)}\bigr|=1/|J|\),故也可写为 \(f_{U,V}(u,v)=f_{X,Y}(x(u,v),y(u,v))\big/\bigl|\tfrac{\partial(u,v)}{\partial(x,y)}\bigr|\)(在逆变换点取值)。哪个行列式好算就用哪个,例如极坐标正向行列式 \(r\) 一眼可写。(ii)一一对应可以放宽:若支撑集能分成有限块、每块上变换一一对应,则密度为各块贡献之和——这与一维非单调(如 \(Y=X^2\))时分段求和完全类似。(iii)本定理只对连续型有意义;离散型无需雅可比,直接对每个 \((u,v)\) 把原像点上的概率相加即可。

3. 经典应用:和差、商与极坐标

下面三个例子是二维替换的标准应用,都以独立标准正态为起点——这是概率论最重要的一块试验田。

例 1 和与差:\(U=X+Y\),\(V=X-Y\)

设 \(X,Y\) 独立同分布于 \(N(0,1)\),求 \(U=X+Y\) 与 \(V=X-Y\) 的联合密度,并判断 \(U\) 与 \(V\) 是否独立。

联合密度为 \(f_{X,Y}(x,y)=\frac{1}{2\pi}e^{-(x^2+y^2)/2}\)。第一步,逆变换:由 \(u=x+y\)、\(v=x-y\) 解得

\[ x=\frac{u+v}{2},\qquad y=\frac{u-v}{2}. \]

第二步,雅可比:\(\frac{\partial x}{\partial u}=\frac{\partial x}{\partial v}=\frac{\partial y}{\partial u}=\frac12\),\(\frac{\partial y}{\partial v}=-\frac12\),故

\[ J=\frac12\cdot\Bigl(-\frac12\Bigr)-\frac12\cdot\frac12=-\frac12,\qquad |J|=\frac12, \]

(校验:正向行列式 \(\begin{vmatrix}1&1\\1&-1\end{vmatrix}=-2\),绝对值恰为 \(1/|J|\),符合注记(i)。)第三步,代入:由于

\[ x^2+y^2=\frac{(u+v)^2+(u-v)^2}{4}=\frac{u^2+v^2}{2}, \]

所以

\[ f_{U,V}(u,v)=\frac{1}{2\pi}e^{-(u^2+v^2)/4}\cdot\frac12=\frac{1}{4\pi}\,e^{-u^2/4}\,e^{-v^2/4}. \]

第四步,识别:\(N(0,2)\) 的密度为 \(\frac{1}{2\sqrt{\pi}}e^{-t^2/4}\),于是上式恰为

\[ f_{U,V}(u,v)=\Bigl[\frac{1}{2\sqrt{\pi}}e^{-u^2/4}\Bigr]\cdot\Bigl[\frac{1}{2\sqrt{\pi}}e^{-v^2/4}\Bigr], \]

即两个 \(N(0,2)\) 密度之积——联合密度可分离。故 \(U\) 与 \(V\) 相互独立,且都服从 \(N(0,2)\)。边缘与 6.3 节的卷积结果一致:方差 \(1+1=2\) 相加。

和与差竟然独立!这并不显然——\(U\) 与 \(V\) 都同时含有 \(X\) 和 \(Y\)。关键在"等方差"与正态密度的旋转对称性:从图 2 看,\((x,y)\mapsto(u,v)\) 本质上是"旋转 45° + 尺度放大 \(\sqrt{2}\)",而标准二维正态的等高线是同心圆 \(x^2+y^2=c\),旋转后仍是圆 \(u^2+v^2=2c\),密度沿新坐标轴依旧可分离。若 \(X,Y\) 方差不等,等高线变成椭圆,旋转 45° 后不再与坐标轴对齐,独立性即遭破坏(练习 1)。一般地,\(X\sim N(\mu_1,\sigma^2)\)、\(Y\sim N(\mu_2,\sigma^2)\) 独立时,\(U\) 与 \(V\) 仍独立,分别服从 \(N(\mu_1+\mu_2,\,2\sigma^2)\) 与 \(N(\mu_1-\mu_2,\,2\sigma^2)\)(均值只作平移,不改变上述论证)。

变换:U = X + Y,V = X − Y(正交旋转 45°,尺度 ×√2) (x, y) 平面 (u, v) 平面 x y x+y=u₀ x−y=v₀ u 轴(y=x) v 轴(y=−x) P(2, 1) 垂直 x²+y²=5 45° u v 3 1 (u₀, v₀)=(3, 1) u²+v²=10
图 2:和差变换的几何本质。左图:在 (x,y) 平面上,x+y=u₀ 与 x−y=v₀ 的等值线是两族互相垂直的斜线(斜率 ∓1),构成旋转 45° 的新坐标架——u 轴即直线 y=x,v 轴即 y=−x,过点 P 的两条等值线互相垂直。右图:点 P=(2,1) 对应 (u₀,v₀)=(3,1);圆 x²+y²=5 变为圆 u²+v²=10,半径放大 √2 倍、面积加倍。正态密度的圆形等高线旋转后仍是圆,这正是例 1 中独立性的来源。
注记 统计学伏笔

例 1 的现象是统计学一个著名事实的最简单情形:正态总体的样本均值 \(\bar{X}\) 与样本方差 \(S^2\) 相互独立7.7 节)。其根源正如本例——正交变换保持标准正态的独立结构。例 1 的 45° 旋转正是 \(n=2\) 时的正交变换。

例 2 商:\(U=X/Y\) 服从柯西分布

设 \(X,Y\) 独立同分布于 \(N(0,1)\),证明 \(U=X/Y\) 服从标准柯西分布(5.6 节)。

对单个方程 \(u=x/y\) 无法"解出逆",二维替换的技巧是补一个辅助变量把方程组补全。取 \(V=Y\),即考虑 \((U,V)=(X/Y,\;Y)\)。逆变换为 \(x=uv\),\(y=v\)。雅可比:\(\frac{\partial x}{\partial u}=v\),\(\frac{\partial x}{\partial v}=u\),\(\frac{\partial y}{\partial u}=0\),\(\frac{\partial y}{\partial v}=1\),故

\[ J=v\cdot 1-u\cdot 0=v,\qquad |J|=|v|. \]

代入(注意 \(x^2+y^2=u^2v^2+v^2=(1+u^2)v^2\)):

\[ f_{U,V}(u,v)=\frac{1}{2\pi}\,|v|\,e^{-(1+u^2)v^2/2},\qquad -\infty<u<\infty,\;-\infty<v<\infty. \]

再对 \(v\) 积分求边缘密度(被积函数是偶函数):

\[ f_U(u)=\frac{1}{\pi}\int_0^\infty v\,e^{-(1+u^2)v^2/2}\,dv \;\overset{t=v^2/2}{=}\;\frac{1}{\pi}\int_0^\infty e^{-(1+u^2)t}\,dt=\frac{1}{\pi(1+u^2)}, \]

即标准柯西密度。与 5.6 节呼应:柯西分布期望不存在、尾部极厚——两个"最温和"的正态变量相除,竟得到一个"最狂野"的分布,原因在于分母 \(Y\) 可以任意接近 \(0\)。

两点补充:其一,\((U,V)\) 并不独立——密度含因子 \(|v|e^{-u^2v^2/2}\),无法分离成 \(u\) 的函数与 \(v\) 的函数之积;其二,若 \(X,Y\) 同方差 \(N(0,\sigma^2)\),则 \(\sigma\) 在比值中约去,结论不变,仍为标准柯西;方差不等(\(\sigma_1\neq\sigma_2\))时得到尺度参数 \(\sigma_1/\sigma_2\) 的柯西分布。

例 3 极坐标变换与旋转不变性

设 \((X,Y)\) 有联合密度 \(f_{X,Y}\),令 \(R=\sqrt{X^2+Y^2}\),\(\Theta\in[0,2\pi)\) 为极角。求 \((R,\Theta)\) 的联合密度,并证明:若存在函数 \(h\) 使 \(f_{X,Y}(x,y)=h(x^2+y^2)\) 只依赖于到原点的距离,则 \(\Theta\sim U(0,2\pi)\) 且与 \(R\) 独立。

逆变换就是极坐标公式 \(x=r\cos\theta\),\(y=r\sin\theta\)(\(r>0\),\(0\le\theta<2\pi\))。雅可比为

\[ J=\begin{vmatrix}\cos\theta & -r\sin\theta\\ \sin\theta & r\cos\theta\end{vmatrix}=r\cos^2\theta+r\sin^2\theta=r, \]

这正是熟知的面积元公式 \(dx\,dy=r\,dr\,d\theta\)。由定理 1,

\[ f_{R,\Theta}(r,\theta)=f_{X,Y}(r\cos\theta,\,r\sin\theta)\cdot r. \]

若 \(f_{X,Y}(x,y)=h(x^2+y^2)\),则 \(f_{R,\Theta}(r,\theta)=r\,h(r^2)\) 与 \(\theta\) 无关,且可分解为

\[ f_{R,\Theta}(r,\theta)=\bigl[\,2\pi r h(r^2)\,\bigr]\cdot\frac{1}{2\pi}, \]

故 \(\Theta\sim U(0,2\pi)\)、与 \(R\) 独立,且 \(f_R(r)=2\pi r h(r^2)\)(\(r>0\))。

对 \(X,Y\) 独立 \(N(0,1)\):\(h(t)=\frac{1}{2\pi}e^{-t/2}\),故 \(f_{R,\Theta}(r,\theta)=\frac{1}{2\pi}\,r\,e^{-r^2/2}\),即 \(\Theta\sim U(0,2\pi)\) 且 \(R\) 服从瑞利分布(Rayleigh distribution),\(f_R(r)=r e^{-r^2/2}\)。验证与计算:\(\int_0^\infty r e^{-r^2/2}dr=1\)(归一性成立);令 \(t=r^2/2\) 得分布函数 \(P(R\le a)=\int_0^a r e^{-r^2/2}dr=1-e^{-a^2/2}\);又 \(E[R^2]=E[X^2]+E[Y^2]=2\),与密度直接积分一致。

结论的含义是旋转不变性(rotational invariance):密度只依赖 \(x^2+y^2\) 意味着等高线是同心圆,没有任何方向被偏爱,于是角度必然均匀。二维标准正态是最重要的例子,这也为它在中心极限定理(8.3 节)与统计推断中的核心地位提供了几何解释。

注记 Box–Muller 方法:反过来用

把例 3 反过来读就是模拟中的标准算法:取独立的 \(\Theta\sim U(0,2\pi)\) 与瑞利分布的 \(R\),令 \(X=R\cos\Theta\),\(Y=R\sin\Theta\)。用"前向雅可比"(注记(i))得 \(f_{X,Y}(x,y)=f_{R,\Theta}(r,\theta)/r=\frac{1}{2\pi}e^{-(x^2+y^2)/2}\),可分离,故 \(X,Y\) 独立同 \(N(0,1)\)。这正是 8.4 节蒙特卡洛方法中生成正态随机数的理论依据(练习 4 请补全细节)。

4. 本节小结

要点回顾
  • 二维替换定理:\(f_{U,V}(u,v)=f_{X,Y}(x(u,v),y(u,v))\cdot|J|\),其中 \(J=\partial(x,y)/\partial(u,v)\);5.7 节的一维公式是其"长度元→面积元"的退化特例。
  • \(|J|\) 的几何意义是面积元的局部伸缩率;正向与逆向雅可比在对应点互为倒数,计算时取方便者。
  • 三大经典结论:等方差正态变量的和与差独立(几何本质是旋转 45° 后圆形等高线不变);正态变量之服从柯西分布(补辅助变量 \(V=Y\));极坐标下旋转不变密度的角度 \(\Theta\sim U(0,2\pi)\) 且与 \(R\) 独立。
  • 变换非一一对应时分块处理、贡献相加;离散型不需要雅可比。
  • 延伸阅读:样本均值与样本方差的独立性(7.7 节)、Box–Muller 正态随机数生成(8.4 节)。

练习

练习 6-7-1

方差不等时,和与差不再独立:设 \(X\sim N(0,\sigma_1^2)\)、\(Y\sim N(0,\sigma_2^2)\) 独立,\(U=X+Y\),\(V=X-Y\)。写出 \(f_{U,V}\) 并证明 \(U,V\) 独立当且仅当 \(\sigma_1=\sigma_2\)。

答案与提示

逆变换与 \(|J|=1/2\) 同例 1,代入指数(\(x^2\!/(2\sigma_1^2)+y^2\!/(2\sigma_2^2)\),\(x=(u+v)/2\),\(y=(u-v)/2\))得

\[ f_{U,V}(u,v)=\frac{1}{4\pi\sigma_1\sigma_2}\exp\Bigl\{-\frac{(\sigma_1^2+\sigma_2^2)(u^2+v^2)-2(\sigma_1^2-\sigma_2^2)uv}{8\sigma_1^2\sigma_2^2}\Bigr\}. \]

交叉项 \(-2(\sigma_1^2-\sigma_2^2)uv\) 当且仅当 \(\sigma_1=\sigma_2\) 时消失,此时密度分离为两个 \(N(0,2\sigma^2)\) 密度之积(例 1 的推广);\(\sigma_1\neq\sigma_2\) 时密度不可分离,\(U,V\) 不独立。也可用协方差一眼看出必要性:\(\mathrm{Cov}(U,V)=\mathrm{Var}(X)-\mathrm{Var}(Y)=\sigma_1^2-\sigma_2^2\)。\((U,V)\) 是联合正态的(线性变换),故"不相关 \(\Leftrightarrow\) 独立",与密度分解的结论一致。

练习 6-7-2

和差变换的一般雅可比:设 \((X,Y)\) 有任意联合密度 \(f_{X,Y}\)(不要求独立或正态),\(U=X+Y\),\(V=X-Y\)。求逆变换、雅可比行列式与 \(f_{U,V}\) 的一般公式。

答案与提示

逆变换 \(x=(u+v)/2\),\(y=(u-v)/2\);\(\frac{\partial x}{\partial u}=\frac{\partial y}{\partial u}=\frac{\partial x}{\partial v}=\frac12\),\(\frac{\partial y}{\partial v}=-\frac12\),故 \(J=\frac12\cdot(-\frac12)-\frac12\cdot\frac12=-\frac12\),\(|J|=\frac12\)。于是对任何联合密度都有

\[ f_{U,V}(u,v)=\frac12\,f_{X,Y}\Bigl(\frac{u+v}{2},\,\frac{u-v}{2}\Bigr). \]

校验:正向行列式 \(\begin{vmatrix}1&1\\1&-1\end{vmatrix}=-2\),绝对值 2 恰为 \(1/|J|\)。可见例 1 中"和差独立"的功劳全在正态密度本身的形状,与雅可比无关。

练习 6-7-3

乘积变换:取 \(U=XY\),\(V=X\)。(a) 求逆变换与雅可比,写出 \(f_{U,V}\) 的一般公式;(b) 当 \(X,Y\) 独立同服从 \(U(0,1)\) 时,求 \(U=XY\) 的密度。

答案与提示

(a) 逆变换 \(x=v\),\(y=u/v\)(\(v\neq0\))。\(\frac{\partial x}{\partial u}=0\),\(\frac{\partial x}{\partial v}=1\),\(\frac{\partial y}{\partial u}=1/v\),\(\frac{\partial y}{\partial v}=-u/v^2\),故 \(J=0\cdot(-u/v^2)-1\cdot(1/v)=-1/v\),\(|J|=1/|v|\),于是

\[ f_{U,V}(u,v)=f_{X,Y}\Bigl(v,\frac{u}{v}\Bigr)\frac{1}{|v|};\qquad f_U(u)=\int_{-\infty}^{\infty}f_X(v)\,f_Y\Bigl(\frac{u}{v}\Bigr)\frac{dv}{|v|}, \]其中右端的边缘公式需要 \(X,Y\) 独立。

(b) 支撑要求 \(0<v<1\) 且 \(0<u/v<1\),即 \(v\in(u,1)\),故对 \(0<u<1\):\(f_U(u)=\int_u^1 \frac{1}{v}\,dv=-\ln u\)(其余处为 0)。检验:\(\int_0^1(-\ln u)\,du=1\)。

练习 6-7-4

Box–Muller(例 3 的反向):设 \(\Theta\sim U(0,2\pi)\),\(R\) 有密度 \(re^{-r^2/2}\)(\(r>0\)),且 \(R,\Theta\) 独立。令 \(X=R\cos\Theta\),\(Y=R\sin\Theta\),证明 \(X,Y\) 独立同分布于 \(N(0,1)\)。

答案与提示

联合密度 \(f_{R,\Theta}(r,\theta)=\frac{1}{2\pi}re^{-r^2/2}\)。正向变换 \(x=r\cos\theta\),\(y=r\sin\theta\) 的雅可比绝对值为 \(r\)(例 3 已算),由注记(i)的"除以正向雅可比"形式,在 \(r=\sqrt{x^2+y^2}\) 处

\[ f_{X,Y}(x,y)=\frac{f_{R,\Theta}(r,\theta)}{r}=\frac{1}{2\pi}e^{-(x^2+y^2)/2}=\Bigl[\frac{1}{\sqrt{2\pi}}e^{-x^2/2}\Bigr]\cdot\Bigl[\frac{1}{\sqrt{2\pi}}e^{-y^2/2}\Bigr], \]

密度可分离,故 \(X,Y\) 独立同 \(N(0,1)\)。这就是模拟中由均匀随机数生成正态随机数的 Box–Muller 方法(8.4 节)。