- 陈述命题 1 的三个结论(补公式、单调性、加法公式),并能从三条公理出发逐条证明;
- 运用两事件与三事件的容斥公式计算"至少一个发生""恰有一个发生"等事件的概率;
- 用原子(七块区域)分解解释容斥原理的"多退少补"机制,并写出 n 个事件容斥式的通项规律;
- 应用布尔不等式与 Bonferroni 不等式,对"至少一个发生"型事件的概率给出上下界;
- 利用本节工具检验一组给定的概率数值是否与公理相容。
1. 三个基本命题:补、单调性与加法公式
2.3 节用三条公理规定了什么是合法的概率:非负性、规范性与可数可加性。公理是"立法",但仅靠公理还不能方便地做事——直接对一个复杂事件分解求和往往无从下手。本节从公理出发,推导第一批实用的命题(proposition)(对应原书 Proposition 4.1):它们是此后一切概率计算的"基本手续"。整节的策略反复出现同一招:把事件拆成互不相容的小块,再对小块使用可加性。
设 \(E, F\) 为样本空间 \(S\) 中的事件,则:
\[ \text{(a)}\ \ P(E^c) = 1 - P(E); \qquad \text{(b)}\ \ E \subset F \ \Rightarrow\ P(E) \le P(F); \qquad \text{(c)}\ \ P(E \cup F) = P(E) + P(F) - P(EF). \]
(b) 由 \(E \subset F\) 可把 \(F\) 拆成两块不相容的部分:\(F = E \cup (E^c F)\)。于是 \[ P(F) = P(E) + P(E^c F) \ge P(E), \] 其中不等号用了公理 A1(\(P(E^c F) \ge 0\))。顺便得到差集公式:当 \(E \subset F\) 时 \(P(F - E) = P(F) - P(E)\)。
(c) 同样拆分:\(E \cup F = E \cup (E^c F)\)(右边两块不相容),故 \(P(E \cup F) = P(E) + P(E^c F)\);再对 \(F\) 拆分 \(F = (EF) \cup (E^c F)\),得 \(P(E^c F) = P(F) - P(EF)\)。代入即得 \[ P(E \cup F) = P(E) + P(F) - P(EF). \qquad \blacksquare \]
三条结论各自回答一类问题。(a) 补公式是"正难则反"的代名词:凡"至少……""至多……"型事件,常取补集后计算再回头相减。(b) 单调性(monotonicity) 说明事件越大,概率不越小——"寿命超过 8000 小时"不会比"寿命超过 5000 小时"更容易发生;由 (b) 加上 \(P(E) \le 1\) 还得到夹逼 \(0 \le P(E) \le 1\)。(c) 加法公式(addition rule) 是两事件版本的容斥(inclusion–exclusion):分别把 \(P(E)\)、\(P(F)\) 加起来时,重叠部分 \(EF\) 被计了两次,须减去一次——这就是"多退少补"的雏形;当 \(E, F\) 互斥时 \(P(EF)=0\),公式退化为有限可加性。此外,由 (c) 与 \(P(EF) \ge 0\) 立得 \(P(E \cup F) \le P(E) + P(F)\),它是本节末尾布尔不等式的最简单情形。
设 \(P(A) = 0.4\),\(P(B) = 0.5\),\(P(AB) = 0.2\)。求:(a) \(P(A \cup B)\);(b) \(P(A^c)\);(c) \(P(AB^c)\) 与 \(P(A^c B)\);(d) \(P(A \cup B^c)\);(e) \(P(A^c B^c)\)。
(b) 由补公式,\(P(A^c) = 1 - 0.4 = 0.6\)。
(c) \(AB^c\) 是"落在 \(A\) 内而不落在 \(B\) 内"的一块。由 \(A = (AB^c) \cup (AB)\)(两块不相容)得 \[ P(AB^c) = P(A) - P(AB) = 0.4 - 0.2 = 0.2, \qquad P(A^c B) = P(B) - P(AB) = 0.5 - 0.2 = 0.3. \]
(d) 对 \(A\) 与 \(B^c\) 用加法公式:\(P(A \cup B^c) = P(A) + P(B^c) - P(AB^c) = 0.4 + 0.5 - 0.2 = 0.7\)。也可用 De Morgan 律 \(A \cup B^c = (A^c B)^c\),得 \(1 - 0.3 = 0.7\),两条路线互为校验。
(e) 由 (a) 取补:\(P(A^c B^c) = 1 - P(A \cup B) = 0.3\)。校验:四块区域 \(AB^c\)、\(A^cB\)、\(AB\)、\(A^cB^c\) 的概率 \(0.2 + 0.3 + 0.2 + 0.3 = 1\),恰好拼满样本空间。
某型号电子元件的寿命 \(T\)(小时)是随机试验的对象(样本空间 \((0,\infty)\),见 2.2 节)。已知 \(P(T > 5000) = 0.62\)。(a) 给出 \(P(T > 8000)\) 的一个上界;(b) 若进一步知道 \(P(5000 < T \le 8000) = 0.21\),求 \(P(T > 8000)\) 的精确值;(c) 用 (b) 的结果给出事件 \(D\) = "元件来自甲车间且寿命超过 8000 小时"的概率上界,并指出所用性质的传递性。
(b) \(\{T > 5000\}\) 可拆为不相容的两块 \(\{5000 < T \le 8000\}\) 与 \(\{T > 8000\}\),故 \[ P(T > 8000) = P(T > 5000) - P(5000 < T \le 8000) = 0.62 - 0.21 = 0.41. \] 可见多知道一块"中间区间"的概率,上界 0.62 立即收紧为精确值。
(c) 由 \(D \subset \{T > 8000\}\) 得 \(P(D) \le 0.41\)。单调性可以像不等号一样链式传递:\(D \subset \{T > 8000\} \subset \{T > 5000\}\),于是 \(P(D) \le 0.41 \le 0.62\)。整个过程没有用到任何分布模型——只用了集合之间的包含关系,这正是单调性便宜而好用的地方。
2. 三事件并:容斥公式与七块原子
两个事件的加法公式处理了一层重叠;三个事件 \(A, B, C\) 同时出现时,重叠结构立刻丰富起来:有一块"只有 A"、有一块"A 与 B 重叠但 C 不在"、还有一块"三者都重叠"。为把话说得干净,先给这些"最小碎片"一个名字。
设 \(A, B, C\) 为事件。称下列七个两两不相容的事件为由 \(A, B, C\) 生成的原子(atoms): \[ A B^c C^c,\quad A^c B C^c,\quad A^c B^c C,\quad A B C^c,\quad A B^c C,\quad A^c B C,\quad A B C, \] 即"恰 \(A\) 发生""恰 \(B\) 发生""恰 \(C\) 发生""恰 \(A,B\) 发生""恰 \(A,C\) 发生""恰 \(B,C\) 发生"与"三者都发生"。
这七个原子加上并集之外的一块 \((A \cup B \cup C)^c\),把样本空间分成八块;一般地,\(n\) 个事件至多生成 \(2^n\) 个原子。由可加性立刻得到两条常用的"还原公式": \[ P(ABC^c) = P(AB) - P(ABC), \qquad P(AB^c C^c) = P(A) - P(AB) - P(AC) + P(ABC), \] 其余原子同理。图 1 的七个编号区域正是这七个原子。
\[ P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC). \]
设 \(P(A) = P(B) = P(C) = \tfrac{1}{2}\),\(P(AB) = P(AC) = P(BC) = \tfrac{1}{4}\),\(P(ABC) = \tfrac{1}{8}\)。(a) 求 \(P(A \cup B \cup C)\);(b) 求"恰有一个发生"的概率;(c) 验证这组数据与公理相容。
(b) "恰有一个发生"即原子 ①②③ 之和。由定义 1 的还原公式, \[ P(AB^c C^c) = P(A) - P(AB) - P(AC) + P(ABC) = \tfrac{1}{2} - \tfrac{1}{4} - \tfrac{1}{4} + \tfrac{1}{8} = \tfrac{1}{8}, \] 由对称性三个"恰一个"原子各为 \(\tfrac{1}{8}\),故所求概率为 \(\tfrac{3}{8} = 0.375\)。
(c) 逐块检查:七个原子的概率全部非负,且其和 \(\tfrac{7}{8} \le 1\)(见表 1)。为使结论落实,可以真的造出一个模型:在单位区间 \((0,1)\) 上按长度赋概率,取八个长度各为 \(\tfrac{1}{8}\) 的区间分别扮演八个区域即可。故这组数据是相容的。
| 区域 | 事件 | 概率计算 | 数值 |
|---|---|---|---|
| ① | \(A B^c C^c\)(恰 \(A\)) | \(P(A)-P(AB)-P(AC)+P(ABC)\) | 0.125 |
| ② | \(A^c B C^c\)(恰 \(B\)) | 同上,由对称 | 0.125 |
| ③ | \(A^c B^c C\)(恰 \(C\)) | 同上,由对称 | 0.125 |
| ④ | \(A B C^c\)(恰 \(A,B\)) | \(P(AB)-P(ABC)\) | 0.125 |
| ⑤ | \(A B^c C\)(恰 \(A,C\)) | \(P(AC)-P(ABC)\) | 0.125 |
| ⑥ | \(A^c B C\)(恰 \(B,C\)) | \(P(BC)-P(ABC)\) | 0.125 |
| ⑦ | \(ABC\)(三者皆发生) | \(P(ABC)\) | 0.125 |
| 并集 | \(A \cup B \cup C\) | 七块之和 | 0.875 |
| 外部 | \((A \cup B \cup C)^c\) | \(1 - \tfrac{7}{8}\) | 0.125 |
把例 3 的两两交改成 \(\tfrac{1}{6}\)、三重交保持 \(\tfrac{1}{8}\),容斥公式立即给出 \[ \tfrac{3}{2} - 3 \times \tfrac{1}{6} + \tfrac{1}{8} = \tfrac{9}{8} > 1, \] 违反 \(P \le 1\)。这说明这组数值不可能来自任何概率测度——凭空报出的一组"概率"未必相容,而公理体系配上本节的命题,恰好像一台体检机:任何合法赋值都必须使全部原子概率非负、并使容斥结果落在 \([0,1]\) 内。2.3 节例 2 中"信念不相容"的检查,正是这台机器的最简单应用。
3. 一般容斥原理:多退少补
三个事件的公式向更高维推广,符号呈现严格的交错规律:加所有单个、减所有成对、加所有三重……直到 \(n\) 重。这就是容斥原理(inclusion–exclusion principle)。
\[ P\!\left( \bigcup_{i=1}^{n} E_i \right) = \sum_{i=1}^{n} P(E_i) \; - \sum_{i<j} P(E_i E_j) \; + \sum_{i<j<k} P(E_i E_j E_k) \; - \; \cdots \; + \; (-1)^{n+1} P(E_1 E_2 \cdots E_n). \]
这个证明把"多退少补"说透了:先把重叠的多次计入,再一层层把多计的部分退回去。恰属一个事件的点从未被多计(计 1 次);恰属两个的点被计 \(2\) 次后退 \(1\) 次;恰属 \(r\) 个的点净计数为 \(\binom{r}{1} - \binom{r}{2} + \cdots + (-1)^{r+1}\binom{r}{r} = 1\)。两个特例值得记住:当所有事件两两互斥时,一切交的概率为 0,公式退化为有限可加性;当 \(n = 2, 3\) 时,分别回到命题 1(c) 与命题 2。历史上,系统使用容斥的功绩通常归于 18 世纪的棣莫弗(de Moivre)与后来的西尔维斯特(Sylvester),它在组合数学中以"筛法"的名字同样占据核心地位。
也要看到代价:\(n\) 个事件的容斥式含 \(2^n - 1\) 项,\(n\) 稍大即不堪重负。因此容斥常只取前一两层作近似或估值(见下一节的界),而精确计算的更经济路径——等可能样本空间(2.5 节)与独立性(3.4 节)——正是接下来两章的主角。
4. 概率的界:布尔不等式与 Bonferroni 不等式
容斥公式要求知道所有交的概率;实际中往往只知道每个事件各自的概率,交的信息残缺。此时精确值不可得,但可以把真值"围"在一个区间里:布尔不等式(Boole's inequality) 给出上界,Bonferroni 不等式(Bonferroni's inequality) 给出下界。二者是估计"至少一个发生"型概率的左右护栏。
\[ P\!\left( \bigcup_{i=1}^{n} E_i \right) \; \le \; \sum_{i=1}^{n} P(E_i). \]
布尔不等式又称次可加性(subadditivity)或"并集界"(union bound),它是概率论中使用频率最高的一条不等式。取补并配合 De Morgan 律,得到它的对偶形式:\(P\big( \bigcap_{i=1}^{n} E_i^c \big) \ge 1 - \sum_{i=1}^{n} P(E_i)\)——"都不发生"的概率有下界,这在可靠性(同时失效才出事)与多重检验(同时出错)等问题中反复出现。对可数无穷个事件,结论同样成立,其严格表述要借助于概率的连续性(2.6 节)。
\[ P(EF) \; \ge \; P(E) + P(F) - 1. \]
Bonferroni 不等式在"至少一个发生"的方向更有用:对 \(n\) 个事件,把推论 2 反复叠用(归纳法,见练习 4 的思想)得一般形式 \(P\big( \bigcap_{i=1}^{n} E_i \big) \ge \sum_{i=1}^{n} P(E_i) - (n-1)\);再对补事件使用,得 \[ P\!\left( \bigcup_{i=1}^{n} E_i \right) \; \ge \; \sum_{i=1}^{n} P(E_i) - \sum_{i<j} P(E_i E_j), \] 即容斥式截断前两层所得的下界(奇数层截断给下界,偶数层截断给上界,统称 Bonferroni 型不等式)。图 2 用数轴展示了两组数据下"真值被夹在上下界之间"的图景。
甲、乙、丙三位专家独立尝试破译同一密码,设各自成功率为 \(0.3, 0.4, 0.5\),问"至少一人破译"的概率是多少?只用本节工具:单调性给出下界 \(\max\{0.3, 0.4, 0.5\} = 0.5\),布尔不等式给出上界 \(\min\{1,\ 0.3+0.4+0.5\} = 1\)——界宽达 0.5,几乎没有信息量。原因在于并的概率依赖事件间的重叠结构(各阶交),仅知单个事件的概率远远不够。若再动用"三人相互独立"这条强信息(3.4 节),则"无人破译"的概率为 \(0.7 \times 0.6 \times 0.5 = 0.21\),于是至少一人破译的概率精确等于 \(1 - 0.21 = 0.79\)。这个例子说明:不等式是信息不足时的护栏,而新信息(独立性、条件概率)会把界一路收紧到真值。
5. 本节小结
- 命题 1 三件套:\(P(E^c) = 1 - P(E)\)(正难则反);\(E \subset F \Rightarrow P(E) \le P(F)\)(事件越大概率不越小);\(P(E \cup F) = P(E) + P(F) - P(EF)\)(重叠部分多计须退回)。三者皆由三条公理直接证明。
- 容斥:三事件并 \(= \sum P(\text{单个}) - \sum P(\text{成对}) + P(\text{三重})\);一般地按 \((-1)^{k+1}\) 交错到 \(n\) 重。机制是原子分解下的"多退少补":每块区域净计数恰为 1。
- 界:布尔不等式 \(P(\cup E_i) \le \sum P(E_i)\) 给"至少一个发生"的上界;Bonferroni 不等式 \(P(EF) \ge P(E) + P(F) - 1\) 及其推广给下界;容斥的奇偶截断分别产生下界与上界。
- 相容性检验:一组概率数值合法的必要条件是所有原子概率非负、容斥结果落在 \([0,1]\) 内;否则不存在实现它的概率模型。
- 下一节(2.5 节)进入第一类具体模型——等可能结果的样本空间,届时本节公式将配合计数原理算出大量经典概率。
练习
练习 2-4-1
用"三块分解"另证加法公式:把 \(E \cup F\) 拆成 \(EF^c\)、\(EF\)、\(E^c F\) 三块互不相容的事件,由此重新证明命题 1(c)。
答案与提示由可加性 \(P(E \cup F) = P(EF^c) + P(EF) + P(E^c F)\)。注意 \(P(E) = P(EF^c) + P(EF)\)、\(P(F) = P(E^c F) + P(EF)\),代入得 \(P(E \cup F) = \big[P(E) + P(F)\big] - P(EF)\)。这与正文里"拆两块"的证法相比,把重叠块 \(EF\) 一次性摆到了台面上。
练习 2-4-2
容斥数值演算:设 \(P(A) = 0.25\),\(P(B) = 0.3\),\(P(C) = 0.2\),\(P(AB) = 0.08\),\(P(AC) = 0.06\),\(P(BC) = 0.05\),\(P(ABC) = 0.02\)。求 \(P(A \cup B \cup C)\) 与"恰有一个发生"的概率。
答案与提示\(P(A \cup B \cup C) = (0.25 + 0.3 + 0.2) - (0.08 + 0.06 + 0.05) + 0.02 = 0.75 - 0.19 + 0.02 = 0.58\)。"恰有一个":\(P(AB^cC^c) = 0.25 - 0.08 - 0.06 + 0.02 = 0.13\),同法得 \(0.19\) 与 \(0.11\),合计 \(0.43\)。可再验七个原子之和恰为 0.58,数据相容。
练习 2-4-3
证明布尔不等式对任意 \(n\) 个事件成立(用归纳法,提示:归纳一步对 \(\bigcup_{i=1}^{n} E_i\) 与 \(E_{n+1}\) 使用命题 1(c))。
答案与提示\(n=1\) 取等号。设对 \(n\) 成立,则 \(P\big( \bigcup_{i=1}^{n+1} E_i \big) = P\big( \big( \bigcup_{i=1}^{n} E_i \big) \cup E_{n+1} \big) \le P\big( \bigcup_{i=1}^{n} E_i \big) + P(E_{n+1}) \le \sum_{i=1}^{n+1} P(E_i)\)。第一个不等号出自 \(P(EF) \ge 0\),第二个是归纳假设。若把"每个 \(P(E_i) \le \delta\)"代入,得到可靠性分析中常用的 \(P(\text{至少一个出错}) \le n\delta\)。
练习 2-4-4
界的联动:已知 \(P(E) = 0.7\),\(P(F) = 0.6\),交的信息未知。给出 \(P(EF)\) 与 \(P(E \cup F)\) 各自可能的取值范围,并说明两个端点都能取到。
答案与提示Bonferroni 给 \(P(EF) \ge 0.7 + 0.6 - 1 = 0.3\);单调性给 \(P(EF) \le \min\{0.7, 0.6\} = 0.6\)。由 \(P(E \cup F) = 1.3 - P(EF)\) 得联动的 \(P(E \cup F) \in [0.7,\ 1]\)。两个极端都可实现:在 \((0,1)\) 上按长度赋概率,取 \(F = (0, 0.6)\)、\(E = (0.3, 1)\) 得 \(P(EF) = 0.3\)、并覆盖全空间;取 \(F \subset E\)(如 \(E = (0, 0.7)\)、\(F = (0.1, 0.7)\))得 \(P(EF) = 0.6\)、\(P(E \cup F) = 0.7\)。可见只知边缘概率时,这就是信息允许的最佳界。