第 6 章 · 联合分布的随机变量

6.8 可交换随机变量

Exchangeable Random Variables
学习目标
  • 置换(permutation)的语言准确叙述可交换随机变量(exchangeable random variables)的定义,并说明它与"各分量同分布"的关系;
  • 证明"独立同分布 ⇒ 可交换",并通过不放回抽样序列说明逆命题不成立;
  • 计算不放回抽样下任一具体 0-1 序列的概率,说明其只依赖序列中 1 的个数(超几何结构);
  • 用可交换性"一句话"证明抽签公平性:每次抽中红球的概率都是 \(K/N\);
  • (选学)了解 de Finetti 定理的含义:无穷可交换序列恰为独立同分布序列的混合。

1. 从独立到可交换:定义与基本关系

6.2 节我们引入了独立随机变量,并强调独立同分布(independent and identically distributed, 简称 iid)样本是统计推断的标准模型:它描述"在完全相同的条件下重复做同一随机试验"得到的数据。然而,许多天然的随机序列并不独立——发牌、不放回抽样、依次抓阄——但它们仍保有另一种对称性:序列中没有哪个位置是特殊的,"谁先谁后"不影响概率规律。把这一直觉精确化,就得到本节的核心概念。

定义 1 可交换随机变量

称随机向量 \((X_1,\dots,X_n)\) 是可交换的(exchangeable),若对 \((1,2,\dots,n)\) 的任意一个置换 \(\pi=(\pi(1),\dots,\pi(n))\),都有 \[ (X_1,\dots,X_n)\ \overset{d}{=}\ (X_{\pi(1)},\dots,X_{\pi(n)}), \] 即两者有完全相同的联合分布:对一切 \((x_1,\dots,x_n)\), \[ P(X_1\le x_1,\dots,X_n\le x_n)=P\big(X_{\pi(1)}\le x_1,\dots,X_{\pi(n)}\le x_n\big). \]

这里的同分布是对整个 \(n\) 维联合分布而言的。特别地,取 \(\pi\) 为对换 \((i\ j)\) 便知:可交换 ⇒ \(X_i\) 与 \(X_j\) 同分布,从而诸分量的期望、方差全都相同。但可交换性远强于"同分布":它还要求一切联合事件在坐标重排下概率不变,例如 \(P(X_1\le a,\,X_2>b)=P(X_2\le a,\,X_1>b)\)。换言之,联合分布只关心"取到了哪些值",不关心"以怎样的次序取到"。

定理 1 独立同分布 ⇒ 可交换

若 \(X_1,\dots,X_n\) 独立同分布,则 \((X_1,\dots,X_n)\) 可交换。

证明以连续型为例(离散型把密度换成分布列同理),设公共密度为 \(f\),则联合密度 \[ f(x_1,\dots,x_n)=f(x_1)\,f(x_2)\cdots f(x_n). \] 置换后的向量 \((X_{\pi(1)},\dots,X_{\pi(n)})\) 在 \((x_1,\dots,x_n)\) 处的联合密度为 \(f(x_{\pi(1)})\cdots f(x_{\pi(n)})\)——这不过是把同样的 \(n\) 个因子按另一顺序相乘。由乘法交换律,两个联合密度恒相等,故联合分布相同。证毕。

于是有两个自然的反问:(i) 可交换是否蕴含独立?(ii) 独立是否蕴含可交换?答案都是否定。(i) 的标准反例正是本节的主角——不放回抽样序列(见第 2 节例 1);(ii) 则更容易:独立而不同分布即可,例如 \(X\sim B(1,0.4)\) 与 \(Y\sim B(1,0.7)\) 独立时,二者连边缘分布都不同,自然不可交换。可见"独立"与"同分布"互不蕴含,iid 是二者的交;而可交换性是比"同分布"强、比"独立同分布"弱的对称性条件。图 1 概括了这些关系。

全体 n 维联合分布 独立同分布 ⇒ 可交换,反之不成立 可交换随机变量(exchangeable) 独立同分布(iid) 有放回抽样 · 统计样本的原型 不放回抽样序列 可交换,但不独立 独立但不同分布 ⇒ 不可交换
图 1:独立同分布只是可交换世界的一个子集;不放回抽样序列落在"可交换但不独立"的区域,而"独立但不同分布"的序列甚至不在可交换区域内。

2. 核心例子:不放回抽样

设罐中有 3 个红球、2 个白球(共 5 球),每次抽一球、不放回,连抽 2 次。令 \(I_i\) 为第 \(i\) 次抽中红球的指示变量(indicator variable)。下面的例 1 把"可交换但不独立"算得清清楚楚。

例 1 罐中 3 红 2 白:可交换但不独立

不放回连抽 2 次,求:(a) \(P\)(前两次全红);(b) \(P(I_1=1,I_2=0)\) 与 \(P(I_1=0,I_2=1)\),并说明 \((I_1,I_2)\) 可交换;(c) 该序列是否独立?与"独立情形"对照。

(a) 第一次抽中红球的概率为 \(3/5\);此后罐中剩 2 红 2 白,第二次仍抽中红球的概率为 \(2/4\)。故 \[ P(I_1=1,\,I_2=1)=\frac{3}{5}\times\frac{2}{4}=\frac{3}{10}. \] (b) 同理 \[ P(1,0)=\frac{3}{5}\times\frac{2}{4}=\frac{3}{10},\qquad P(0,1)=\frac{2}{5}\times\frac{3}{4}=\frac{3}{10},\qquad P(0,0)=\frac{2}{5}\times\frac{1}{4}=\frac{1}{10}. \] 四个概率只依赖序列中 1 的个数(含 1 个 1 的两种次序同为 \(3/10\)),坐标交换前后联合分布不变,故 \((I_1,I_2)\) 可交换。 (c) 由 (a)(b) 得边缘 \(P(I_1=1)=P(I_2=1)=\frac{3}{10}+\frac{3}{10}=\frac{3}{5}\)。若 \((I_1,I_2)\) 独立,应有 \[ P(1,1)=\frac{3}{5}\times\frac{3}{5}=\frac{9}{25}=0.36, \] 而实际值为 \(\frac{3}{10}=0.30\),两者不等,故序列不独立:第一个人抽走红球后,第二个人面对的罐"变差了"(条件概率由 \(3/5\) 降到 \(2/4\))。
罐:3 红 2 白 第 1 次抽取 第 2 次抽取 结果与概率 红 3/5 白 2/5 红 2/4 白 2/4 红 3/4 白 1/4 红,红 红,白 白,红 白,白 3/5×2/4 = 3/10 3/5×2/4 = 3/10 2/5×3/4 = 3/10 2/5×1/4 = 1/10 交换次序 概率不变 高亮的两条路径互为对方的置换,概率同为 3/10 —— 这正是可交换性
图 2:3 红 2 白罐不放回抽两次的树形图。"红,白"与"白,红"两条路径的概率都是 3/10,交换次序不改变概率;但 P(红,红)=3/10 ≠ 9/25,序列并不独立。

例 1 揭示了两件事:其一,联合概率只依赖序列中红球的个数而不依赖其位置——这正是可交换性;其二,序列不独立——第 1 次的结果会改变第 2 次的条件概率。可交换刻画"次序无关",独立刻画"历史无记忆",二者是本质上不同的对称性。

3. 指示序列与超几何结构

例 1 中"概率只依赖 1 的个数"并非巧合。对取值 0/1 的序列,可交换性有如下完全的刻画,其结构正是第 4 章见过的超几何分布(hypergeometric distribution)的骨架。

定理 2 指示序列可交换的刻画

设 \(I_1,\dots,I_n\) 为 0-1 随机变量。\((I_1,\dots,I_n)\) 可交换的充要条件是:对每个 \(k=0,1,\dots,n\),所有恰含 \(k\) 个 1 的具体序列 \((x_1,\dots,x_n)\) 有同一个概率(记作 \(p_k\))。此时 \[ P\Big(\sum_{i=1}^{n} I_i=k\Big)=\binom{n}{k}\,p_k,\qquad P\Big(I_1=x_1,\dots,I_n=x_n\ \Big|\ \sum_{i=1}^{n} I_i=k\Big)=\frac{1}{\binom{n}{k}}. \]

证明充分性:置换不改变序列中 1 的个数,故概率 \(p_k\) 在坐标重排下不变。必要性:任取两个恰含 \(k\) 个 1 的序列 \(x\) 与 \(y\),由于二者 1 的个数、0 的个数都相同,存在置换 \(\pi\) 使 \(y_i=x_{\pi(i)}\)(把 \(x\) 中 1 的位置映射到 \(y\) 中 1 的位置即可);由可交换性得 \(P(y)=P(x)\)。最后,恰含 \(k\) 个 1 的序列共 \(\binom{n}{k}\) 个、互不相容且概率同为 \(p_k\),相加即得第二式;除以 \(p_k\) 的总和即得条件概率。
例 2 不放回抽样的序列概率:超几何结构

罐中 \(K\) 个红球、\(N-K\) 个白球(共 \(N\) 球),不放回抽 \(n\) 次(\(n\le N\)),\(I_i\) 为第 \(i\) 次抽中红球的指示。求任一恰含 \(k\) 个 1 的具体序列的概率,并证明 \((I_1,\dots,I_n)\) 可交换。

逐次相乘:分母依次为 \(N,N-1,\dots,N-n+1\);每逢序列要求抽红,分子乘以当前剩余红球数,依次取 \(K,K-1,\dots,K-k+1\);每逢要求抽白,依次取 \(N-K,N-K-1,\dots,N-K-n+k+1\)。故 \[ p_k=\frac{K(K-1)\cdots(K-k+1)\;\cdot\;(N-K)(N-K-1)\cdots(N-K-n+k+1)}{N(N-1)\cdots(N-n+1)}, \] 它只依赖 \(k\),与 1 出现的次序无关——由定理 2 即得可交换。进而 \[ P\Big(\sum_{i=1}^{n} I_i=k\Big)=\binom{n}{k}\,p_k=\frac{\binom{K}{k}\binom{N-K}{\,n-k\,}}{\binom{N}{n}}, \] 即红球总数服从超几何分布。 验证例 1(\(K=3,N=5,n=2\)):\(p_2=\frac{3\cdot2}{5\cdot4}=\frac{3}{10}\),\(p_1=\frac{3\cdot2}{5\cdot4}=\frac{3}{10}\),\(p_0=\frac{2\cdot1}{5\cdot4}=\frac{1}{10}\);且 \(P(\text{恰一个红})=\binom{2}{1}\cdot\frac{3}{10}=\frac{6}{10}=\frac{\binom{3}{1}\binom{2}{1}}{\binom{5}{2}}\),吻合。特别地,把罐抽完(\(n=N\)):每个恰含 \(K\) 个 1 的长 \(N\) 序列概率为 \(\frac{K!(N-K)!}{N!}=\frac{1}{\binom{N}{K}}\),即 \(K\) 个红球在 \(N\) 个位置上的全部 \(\binom{N}{K}\) 种安排完全等可能。

4. 抽签的公平性:可交换性的威力

可交换性最漂亮的应用,是给2.5 节的抓阄问题——"抽签与先后次序无关"——一个一行的证明。

定理 3 抽签的公平性

条件同例 2。则对每一次 \(i=1,\dots,n\)(\(n\le N\)): \[ P(I_i=1)=\frac{K}{N}. \] 即不放回依次抽取时,每一次抽中红球的概率都等于红球比例 \(K/N\)。

证明不妨把罐抽完(\(n=N\))。由例 2,\((I_1,\dots,I_N)\) 可交换,故诸 \(I_i\) 同分布,记公共值 \(p=P(I_1=1)\)。另一方面抽完 \(N\) 次时恰好抽走了全部 \(K\) 个红球,即 \(\sum_{i=1}^{N} I_i\equiv K\) 恒成立。对该恒等式取期望并用期望的线性性(无需独立性):\(Np=K\),故 \(p=K/N\),且对每个 \(i\) 都成立。

经典实例:10 人依次抓阄,其中 3 张有奖。每人中奖的概率都是 \(3/10\)——第 7 个抓与第 1 个抓机会完全相同;而且"甲、乙二人都中奖"的概率为 \(\frac{3}{10}\times\frac{2}{9}=\frac{1}{15}\)(甲中奖后剩 9 张含 2 奖,乙的条件概率是 \(2/9\),这仍是公平性,只不过用在"变小的罐"上)。要点在于:公平不等于独立。诸 \(I_i\) 同分布(都为 \(K/N\)),但任意两次同时抽中红球的概率为 \[ P(I_i=I_j=1)=\frac{K(K-1)}{N(N-1)}\ <\ \Big(\frac{K}{N}\Big)^{2}\qquad(K<N), \] "抽中"事件两两负相关——知道别人中奖,会略微降低自己中奖的机会,却完全不改变自己中奖的概率。这正是 2.5 节抓阄结论背后的深层结构。

5. 有放回与不放回:一张对比表

例 3 有放回抽样:独立且可交换

同一罐(3 红 2 白),改为有放回抽 2 次。写出 \((I_1,I_2)\) 的联合分布,并与不放回情形对照。

有放回时每次面对同一个罐,\(I_1,I_2\) 独立同服从 \(B(1,\,3/5)\): \[ P(1,1)=\frac{9}{25},\quad P(1,0)=P(0,1)=\frac{6}{25},\quad P(0,0)=\frac{4}{25}. \] 由定理 1,序列独立同分布 ⇒ 可交换。于是两种抽样方案都"每次抽中红球的概率为 \(3/5\)"、都关于次序对称,差别只在独立性:有放回(iid)红球总数服从二项分布 \(B(2,3/5)\);不放回(可交换非独立)红球总数服从超几何分布。全部对照见表 1。
表 1:3 红 2 白罐抽 2 次——有放回(独立情形)与不放回(可交换非独立)对照
项目有放回(独立)不放回(非独立)
\(P(1,1)\)\(9/25=0.36\)\(3/5\times 2/4=3/10=0.30\)
\(P(1,0)=P(0,1)\)\(6/25\)\(3/10\)
\(P(0,0)\)\(4/25\)\(1/10\)
边缘 \(P(I_1=1)=P(I_2=1)\)\(3/5\)\(3/5\)(相同!)
是否可交换
是否独立否(\(3/10\ne 9/25\))
\(I_1+I_2\) 的分布二项 \(B(2,\,3/5)\)超几何 \(\binom{3}{\cdot}\binom{2}{\cdot}/\binom{5}{2}\)

这张表浓缩了本节的信息:有放回抽样是 iid(定理 1)的原型,不放回抽样是"可交换但不独立"的原型;两者的共同点是"次序无关"与"每次边际概率 \(K/N\)",分岔点在联合分布——独立要求联合概率按边缘乘积分解,可交换只要求联合概率对坐标置换不变。弱化一行条件,就多出一整类重要模型。

6. 选学:de Finetti 定理

选学 de Finetti 定理 (de Finetti's theorem, 1931)

意大利概率学家布鲁诺·德菲内蒂(Bruno de Finetti)证明了可交换性概念的"深层结构":无穷可交换序列必是独立同分布序列的混合。以 0-1 序列为例:若 \((I_1,I_2,\dots)\) 的每个有限前段都可交换,则存在 \([0,1]\) 上的一个概率分布 \(\mu\),使得对一切 \(n\) 与恰含 \(k\) 个 1 的序列 \((x_1,\dots,x_n)\), \[ P(I_1=x_1,\dots,I_n=x_n)=\int_0^{1}\theta^{\,k}(1-\theta)^{\,n-k}\,d\mu(\theta). \] 直观读法:"先按 \(\mu\) 随机抽一个参数 \(\theta\)(比如罐中红球比例,但比例本身未知),再在给定 \(\theta\) 下独立地做伯努利试验"。注意两件事:其一,"无穷"不可省——有限可交换序列未必是 iid 混合,不放回抽样(例 1、例 2)就是反例;其二,该定理是贝叶斯统计"先验—独立样本"模型的数学基石:主观学派正是用"可交换性"替代"独立同分布"作为对无知对称性的刻画。练习 4 的 Pólya 罐给出一个可交换且可无穷延续的具体模型,其中 \(\mu\) 恰为 Beta 分布。

7. 本节小结

要点回顾
  • 定义:对任意置换 \(\pi\),\((X_1,\dots,X_n)\overset{d}{=}(X_{\pi(1)},\dots,X_{\pi(n)})\),称 \((X_1,\dots,X_n)\) 可交换;它蕴含诸分量同分布,但更强。
  • 基本关系:独立同分布 ⇒ 可交换;反之不成立——不放回抽样序列可交换但不独立(3 红 2 白:\(P(1,1)=3/5\times 2/4=3/10\ne 9/25\));独立但不同分布则连可交换都不是。
  • 指示序列:可交换 ⟺ 概率只依赖 1 的个数 \(k\);给定总个数为 \(k\) 时每种排列条件概率均为 \(1/\binom{n}{k}\);不放回抽样给出超几何结构。
  • 抽签公平性:每次抽中红球的概率都是 \(K/N\)(\(N\cdot P(I_1=1)=K\) 一行证明);公平 ≠ 独立(两两负相关)。
  • 选学:de Finetti 定理——无穷可交换 = iid 混合,是贝叶斯模型的基石。
  • 至此第 6 章完结。第 7 章将系统挖掘期望的性质:条件期望、全期望公式、协方差与相关系数等。

练习

练习 6-8-1

证明:罐中 \(K\) 红 \(N-K\) 白,不放回抽 \(n\) 次,指示序列 \((I_1,\dots,I_n)\) 可交换。

答案与提示

对任一恰含 \(k\) 个 1 的具体序列,逐次相乘得 \(p_k=\dfrac{K(K-1)\cdots(K-k+1)\,\cdot\,(N-K)(N-K-1)\cdots(N-K-n+k+1)}{N(N-1)\cdots(N-n+1)}\): 分母依次为 \(N,N-1,\dots\);红球分子依次为 \(K,K-1,\dots\),白球分子依次为 \(N-K,N-K-1,\dots\)——每个因子只依赖"此前抽走了多少红/多少白",与出现的先后次序无关,故 \(p_k\) 只依赖 \(k\)。由定理 2 的充分性即得可交换。

练习 6-8-2

罐中 \(K\) 红 \(N-K\) 白,不放回依次抽取。求"第 \(k\) 次才首次抽到红球"的概率,并用 \(N=10,\ K=3,\ k=2\) 验证。

答案与提示

直接相乘:\(P=\dfrac{(N-K)(N-K-1)\cdots(N-K-k+2)\cdot K}{N(N-1)\cdots(N-k+1)}\)。更漂亮地用可交换性:抽完全部 \(N\) 球时,\(K\) 个红球的 \(\binom{N}{K}\) 种位置安排等可能(例 2),"第 \(k\) 次首次红"即位置 \(k\) 为红且前 \(k-1\) 个位置全白,等价于其余 \(K-1\) 个红球落在后 \(N-k\) 个位置,故 \(P=\dfrac{\binom{N-k}{K-1}}{\binom{N}{K}}\)(\(k=1\) 时退化为 \(K/N\),正是定理 3)。数值:\(\binom{8}{2}/\binom{10}{3}=\frac{28}{120}=\frac{7}{30}\),与 \(\frac{7}{10}\times\frac{3}{9}=\frac{7}{30}\) 一致。

练习 6-8-3

\(\{N(t),t\ge 0\}\) 是率为 \(\lambda\) 的泊松过程(Poisson process)。问增量 \(X_1=N(1)-N(0),\,X_2=N(2)-N(1),\,X_3=N(3)-N(2)\) 是否可交换?若改取 \(Y_1=N(2)-N(0),\,Y_2=N(3)-N(2)\) 呢?

答案与提示

前者可交换:由独立增量与平稳增量,三个增量独立同服从 Poisson(\(\lambda\)),由定理 1(iid ⇒ 可交换)即得。后者不可交换:\(Y_1,Y_2\) 仍独立,但 \(Y_1\sim\text{Poisson}(2\lambda)\)、\(Y_2\sim\text{Poisson}(\lambda)\) 不同分布(期望都不等),而可交换必蕴含同分布。本例说明"独立"与"同分布"缺一不可,也再次印证图 1 的关系。

练习 6.8-4(拓展,Pólya 罐)

罐中 \(r\) 红 \(b\) 白;每次抽出一球后,将它与一个同色新球一起放回。证明序列可交换但不独立。

答案与提示

对任一恰含 \(k\) 个 1 的长 \(n\) 序列,逐次相乘得 \(p_k=\dfrac{r(r+1)\cdots(r+k-1)\;\cdot\;b(b+1)\cdots(b+n-k-1)}{(r+b)(r+b+1)\cdots(r+b+n-1)}\), 只依赖 \(k\) ⇒ 可交换(定理 2)。但非独立:如 \(r=b=1\) 时 \(P(1,1)=\frac{1}{2}\times\frac{2}{3}=\frac{1}{3}\ne\frac{1}{4}=P(I_1=1)^2\)(这次是正相关:抽中红球会让罐"变红")。有趣的是,该模型可以无穷延续,其内在参数 \(\theta\) 恰服从 Beta\((r,b)\) 分布——正是 de Finetti 定理中 \(\mu\) 的一个具体实例。