- 陈述划分的定义,并对给定的事件组验证它是否构成样本空间的一个划分;
- 证明全概率公式,并用“按原因加权平均”解释其直观含义;
- 由条件概率的定义推导贝叶斯公式,准确区分先验概率、似然与后验概率;
- 运用贝叶斯公式求解保险定价、医学筛查、彩票交换与三个囚犯等经典问题;
- 辨析假阳性悖论与基础率谬误,说明“换票有利”与“囚犯 A 的概率不变”的直觉误区所在。
1. 样本空间的划分与全概率公式
3.2 节建立了条件概率与乘法规则:已知某事件发生时如何修正另一事件的概率,以及如何用“逐级条件”的链式方法计算交事件的概率。本节处理的是它的“反向”问题。实践中,一个观察到的结果往往可能由多个互不相容的原因引起:一起交通事故可能出自谨慎的驾驶员,也可能出自鲁莽的驾驶员;一次检测呈阳性可能来自真正的患者,也可能只是健康人的假阳性。于是自然产生两类问题:其一,不区分原因时,结果发生的总概率是多少?其二,已经观察到结果,反过来问它由某个特定原因引起的概率是多少?第一类问题由全概率公式解决,第二类问题由贝叶斯公式解决——后者即“由果溯因”(reasoning from effects to causes),是统计推断、诊断决策与机器学习的共同基石。
这两条公式的骨架是一个朴素的想法:把样本空间按“原因”切成互不重叠的几块,再分类讨论。这正是下面的概念。
设 \(F_1, F_2, \ldots, F_n\) 是样本空间 \(S\) 中的事件。若它们满足
\[ F_i F_j = \varnothing \quad (i \neq j), \qquad \bigcup_{j=1}^{n} F_j = S, \]
则称 \(F_1, F_2, \ldots, F_n\) 构成 \(S\) 的一个划分(partition)。
两个条件分别读作“两两互斥”与“合并为全集”。换言之,每次试验的结果必定落入且仅落入划分中的某一块:划分给“分情况讨论”提供了概率论意义下的完备分类框架。常见的例子:任一事件 \(F\) 与其补 \(F^c\) 恒构成划分 \(\{F, F^c\}\);掷骰子的六个单点事件 \(\{1\},\ldots,\{6\}\);本节例 1 中驾驶员按类型分成“谨慎型”与“鲁莽型”两类,也构成一个划分。
设 \(E\) 是我们关心的事件。由于划分把 \(S\) 切成互斥的几块,事件 \(E\) 被“按原因分摊”到各块上:\(E = \bigcup_j EF_j\),且诸 \(EF_j\) 两两互斥。每块上的概率用乘法规则展开,就得到本节的第一个定理。
设 \(F_1, F_2, \ldots, F_n\) 是样本空间 \(S\) 的一个划分,且 \(P(F_j) > 0\)(\(j = 1, \ldots, n\))。则对任意事件 \(E\),有
\[ P(E) = \sum_{j=1}^{n} P(E \,|\, F_j)\, P(F_j). \]
定理 1 的直观读法:\(P(E)\) 是诸“原因发生的前提下 \(E\) 的条件概率”以各原因的先验概率为权的加权平均。下面的树形图把这一结构画了出来:第一层按划分分流,第二层区分“发生 \(E\)”与“不发生 \(E\)”;从树根通往红色叶 \(E\) 的每条路径的概率等于路径上各段概率之积,而 \(P(E)\) 就是这三条路径之和。
2. 贝叶斯公式:由果溯因
全概率公式是“由因推果”的工具:知道各类原因的比例与各原因下结果的条件概率,就能算出结果的总体概率。但现实中更常见的提问方向恰好相反——结果已经观察到,原因是什么?医生看到检测阳性(果),想知道患者患病(因)的概率;保险公司看到一年内出险(果),想知道投保人属于高风险类型(因)的概率。这正是条件概率 \(P(F_j \,|\, E)\),而它可以通过条件概率的定义直接展开。
设 \(F_1, F_2, \ldots, F_n\) 是样本空间 \(S\) 的一个划分,且 \(P(F_j) > 0\)(\(j = 1, \ldots, n\))。若事件 \(E\) 满足 \(P(E) > 0\),则对每个 \(j = 1, \ldots, n\),有
\[ P(F_j \,|\, E) = \frac{P(E \,|\, F_j)\, P(F_j)}{\sum_{i=1}^{n} P(E \,|\, F_i)\, P(F_i)} = \frac{P(E F_j)}{P(E)}. \]
把 \(F_1, \ldots, F_n\) 看作若干可能的“原因”(类别、假设),把 \(E\) 看作观察到的“结果”(证据、数据),公式中的三个量各有专名:
- \(P(F_j)\) 称为先验概率(prior probability):在观察证据 \(E\) 之前,对“原因 \(F_j\)”成立与否的信念,通常来自历史资料或总体比例(如患病率、高风险客户占比);
- \(P(E \,|\, F_j)\) 称为似然(likelihood):假定原因 \(F_j\) 成立时,观察到证据 \(E\) 的可能程度;
- \(P(F_j \,|\, E)\) 称为后验概率(posterior probability):观察到证据 \(E\) 之后,经贝叶斯公式更新得到的对 \(F_j\) 的信念。
于是贝叶斯公式可以读作:后验正比于似然乘以先验(分母只是把各类的后验归一化的常数 \(P(E)\))。它把“从经验中学习”数学化:新证据到来时,理性做法不是抛弃旧认识,而是按似然的比例对先验信念进行修正。下图概括了“正向建模”与“逆向推断”这两个方向。
托马斯·贝叶斯(Thomas Bayes, 1701–1761)是英国牧师与业余数学家。他的论文《论机遇学说中一个问题的求解》在他去世两年后的 1763 年由友人理查德·普赖斯(Richard Price)整理并在皇家学会宣读,其中包含了本节公式的雏形;拉普拉斯(Laplace)1774 年独立给出了这一公式的一般形式,并将其广泛应用于天文学与司法统计。以这条公式为旗帜的贝叶斯统计学派主张把未知量本身也视为随机、用证据不断更新信念,与频率学派长期并立互鉴。今天机器学习中的朴素贝叶斯分类器、垃圾邮件过滤、医学辅助诊断与粒子滤波,其核心都是这同一条公式。
3. 四个经典问题:从保险到三个囚犯
下面四道例题覆盖贝叶斯公式最典型的应用场景:客户分类、假阳性悖论、信息不对称下的决策,以及“部分披露的信息值多少”。请特别留意每题中“先验如何被证据修正”的方向与幅度。
某保险公司把新投保的驾驶员分为两类:谨慎型约占 \(80\%\),一年内至少出一次险的概率为 \(0.01\);鲁莽型约占 \(20\%\),一年内至少出一次险的概率为 \(0.10\)。已知一名新投保的驾驶员第一年就出险了,求他属于鲁莽型的概率。
某疾病在人群中的患病率(prevalence)为 \(1\%\)。某筛查试剂对患者的灵敏度(sensitivity)为 \(P(+ \,|\, D) = 0.9\)(患者呈阳性的概率),对健康人的假阳性率(false positive rate)为 \(P(+ \,|\, D^{c}) = 0.05\)。某人筛查结果为阳性,求他确实患病的概率 \(P(D \,|\, +)\)。
| 人群 | 人数 | 检测阳性 + | 检测阴性 − |
|---|---|---|---|
| 患病 \(D\)(占 1%) | \(100\) | \(90\) | \(10\) |
| 健康 \(D^{c}\)(占 99%) | \(9\,900\) | \(495\) | \(9\,405\) |
| 合计 | \(10\,000\) | \(585\) | \(9\,415\) |
抽奖共发行 \(100\) 张彩票,其中恰有 \(1\) 张有奖。你先买下 \(1\) 张(记为 \(1\) 号)。开奖之前,知道中奖位置的主持人从其余 \(99\) 张中翻开 \(98\) 张空票,只留下另 \(1\) 张(记为 \(100\) 号)未开。此时允许你用手中彩票换那张未开的票。你应当换吗?换与不换的中奖概率各是多少?
把例 3 改成:主持人并不知道中奖位置,从其余 99 张中随机翻开 98 张,结果碰巧全是空票。仍记 \(E\) 为“翻开的 98 张全空且留下 100 号”,此时 \(P(E \,|\, F_1) = 1/99\),\(P(E \,|\, F_{100}) = 1/99\)(其余为 \(0\)),贝叶斯公式给出 \(P(F_1 \,|\, E) = P(F_{100} \,|\, E) = 1/2\)!“碰巧全空”这一事实本身就是偏向“1 号或 100 号中奖”的证据。对比两种协议:知情的主持人在 100 号中奖时必然留下 100 号(似然为 \(1\)),信息几乎全给 100 号;不知情的主持人在任何情形都只有 \(1/99\) 的机会恰好留下 100 号,信息对半分。同一个表面现象,因产生机制不同而携带不同的信息——这是贝叶斯推理最深刻的教训之一。
A、B、C 三名囚犯中将被随机赦免一人,其余两人处死,三人各自获赦的概率均为 \(1/3\),且只有看守知道结果。囚犯 A 向看守提出请求:“B、C 中至少有一人会被处死,请你说出他们中一个会被处死的名字。”看守(知道答案,且按约定绝不说 A,并在可以说 B 也可以说 C 时以公平方式二选一)回答:“B 将被处死。”A 得意地想:“获赦者必在 A、C 之中,各占一半,我获赦的概率从 \(1/3\) 升到 \(1/2\) 了!”A 的推理对吗?求 \(P(A\text{ 获赦} \,|\, \text{答 B})\) 与 \(P(C\text{ 获赦} \,|\, \text{答 B})\)。
| 获赦者(先验) | \(P(W_B \,|\, \cdot)\)(答“B 被处死”) | \(P(W_C \,|\, \cdot)\)(答“C 被处死”) | 行合计 |
|---|---|---|---|
| \(F_A\):A 获赦(\(1/3\)) | \(1/2\) | \(1/2\) | \(1\) |
| \(F_B\):B 获赦(\(1/3\)) | \(0\) | \(1\) | \(1\) |
| \(F_C\):C 获赦(\(1/3\)) | \(1\) | \(0\) | \(1\) |
| 列合计 | \(P(W_B) = 1/2\) | \(P(W_C) = 1/2\) | \(1\) |
上面的解答为什么与 A 的“一半对一半”直觉相反?因为“看守答 B”并非对各情形一视同仁的中性信息。这一事件在“C 获赦”时必然发生(似然为 \(1\)),而在“A 获赦”时只有一半机会发生(似然为 \(1/2\)),因此证据 \(W_B\) 对 C 的支持强度是 A 的两倍:C 的获赦概率由 \(1/3\) 翻倍至 \(2/3\),而 A 的概率仍停留在 \(1/3\)。从 A 的角度看,B、C 中必有一人被处死且看守绝口不提自己,所以“点名 B”对他毫无新意——这条信息对 A 的价值为零,却实实在在是 C 的好消息。值得注意的是,结论依赖“看守可二选一时公平选择”这一假设:若看守在 A 获赦时必答 B,则同样的回答给出 \(P(F_A \,|\, W_B) = P(F_C \,|\, W_B) = 1/2\),A 的乐观反而成立。本例与例 3 的蒙提霍尔问题(Monty Hall problem)结构完全相同:A 的处境是“不换的门”,C 的处境是“被刻意留下的那张票”。
4. 本节小结
- 划分:两两互斥且并为全集的事件组;任一结果落入且仅落入一块。\(\{F, F^{c}\}\) 是最常用的划分。
- 全概率公式 \(P(E) = \sum_j P(E \,|\, F_j) P(F_j)\):\(P(E)\) 是各“原因下”条件概率以先验为权的加权平均,由有限可加性与乘法规则即可证明。
- 贝叶斯公式 \(P(F_j \,|\, E) = P(E \,|\, F_j) P(F_j) / \sum_i P(E \,|\, F_i) P(F_i)\):由条件概率定义直接推出,读作“后验正比于似然乘先验”。
- 先验 → 后验:证据按似然比例修正信念(例 1 中 \(0.2 \to 5/7\));假阳性悖论(例 2)源于混淆 \(P(+ \,|\, D)\) 与 \(P(D \,|\, +)\) 并忽视基础率。
- 信息的价值取决于产生信息的规则:知情主持人使留下的彩票值 \(99/100\)(例 3);看守的回答使 C 的概率翻倍至 \(2/3\) 而 A 仍为 \(1/3\)(例 4)。
练习
练习 3-3-1
双正面硬币:盒中放着两枚外观相同的硬币,一枚均匀(正反各半),一枚两面都是正面。随机取出一枚抛一次,结果出现正面。问取到的是双正面硬币的概率是多少?若连续抛出两次都是正面呢?
答案与提示设 \(F_1\)=取到均匀硬币,\(F_2\)=取到双正硬币,先验各 \(1/2\);\(H\)=抛出正面。一次正面:\(P(H) = \frac{1}{2} \cdot \frac{1}{2} + 1 \cdot \frac{1}{2} = \frac{3}{4}\),故 \(P(F_2 \,|\, H) = \frac{1/2}{3/4} = \frac{2}{3}\)。两次正面:\(P(HH) = \frac{1}{2} \cdot \frac{1}{4} + 1 \cdot \frac{1}{2} = \frac{5}{8}\),故 \(P(F_2 \,|\, HH) = \frac{1/2}{5/8} = \frac{4}{5}\)。证据越一致,后验越偏向双正硬币——这就是“证据累积”。
练习 3-3-2
两阶段医学检验:沿用例 2 的参数(患病率 \(1\%\),灵敏度 \(0.9\),假阳性率 \(0.05\))。某人初检为阳性后立即用同一试剂独立复检,仍为阳性。求其此时患病的概率,并与例 2 的单个阳性结果比较。
答案与提示两次检验独立,故 \(P(++ \,|\, D) = 0.9^{2} = 0.81\),\(P(++ \,|\, D^{c}) = 0.05^{2} = 0.0025\)。贝叶斯公式给出 \(P(D \,|\, ++) = \frac{0.81 \times 0.01}{0.81 \times 0.01 + 0.0025 \times 0.99} = \frac{0.0081}{0.010575} \approx 0.766\)。一次阳性只把患病概率从 \(0.01\) 提到约 \(0.154\),复检阳性进一步提到约 \(0.766\)——这正是筛查体系“初筛 + 复检”设计的数学理由。
练习 3-3-3
例 1 的数值变体:若谨慎型占 \(90\%\)(年出险概率 \(0.005\)),鲁莽型占 \(10\%\)(年出险概率 \(0.05\)),已知某投保人第一年出险,求他属于鲁莽型的概率,并说明与例 1 差异的原因。
答案与提示\(P(E) = 0.005 \times 0.9 + 0.05 \times 0.1 = 0.0045 + 0.005 = 0.0095\),\(P(\text{鲁莽} \,|\, E) = \frac{0.005}{0.0095} = \frac{10}{19} \approx 0.526\)。与例 1 的 \(5/7 \approx 0.714\) 相比后验下降了:此变体中鲁莽型的基础率更低(\(0.1\) 对 \(0.2\)),虽然似然比同为 \(10\),但先验几率从 \(1{:}4\) 降到 \(1{:}9\),后验几率相应降为 \(10{:}9\)。后验由“基础率 × 似然比”共同决定,缺一不可。
练习 3-3-4
垃圾邮件过滤:某邮箱收到的邮件中 \(40\%\) 是垃圾邮件。词汇“免费”出现在垃圾邮件中的概率为 \(0.3\),出现在正常邮件中的概率为 \(0.01\)。现收到一封含“免费”的邮件,求它是垃圾邮件的概率。
答案与提示\(P(\text{垃圾} \,|\, \text{含“免费”}) = \frac{0.3 \times 0.4}{0.3 \times 0.4 + 0.01 \times 0.6} = \frac{0.12}{0.126} = \frac{20}{21} \approx 0.952\)。与例 2 对照:此处“证据”在垃圾邮件中的似然是正常邮件的 \(30\) 倍,远超基础率的悬殊(\(0.4\) 对 \(0.01\) 的患病率),因此后验很高。朴素贝叶斯分类器就是把这一计算推广到大量词汇的联合使用。