第 4 章 · 随机变量

4.2 离散型随机变量

Discrete Random Variables
学习目标
  • 说明离散型随机变量的定义,能判断一个随机变量的可能取值集合是否至多可数;
  • 写出分布列 \(p(x)=P(X=x)\),并运用非负性与规范性 \(\sum_x p(x)=1\) 检验分布列或确定其中的待定常数;
  • 用公式 \(P(X\in A)=\sum_{x\in A}p(x)\) 计算任意事件的概率;
  • 由分布列求分布函数 \(F(x)=\sum_{y\le x}p(y)\),并利用跳变公式 \(p(x)=F(x)-F(x^{-})\) 由 \(F\) 读回 \(p\);
  • 绘制并解读分布列棒图与阶梯形分布函数图。

1. 离散型随机变量与分布列

4.1 节中,我们把随机变量(random variable)定义为样本空间 \(S\) 上的实值函数 \(X:S\to\mathbb{R}\),并用分布函数 \(F(x)=P(X\le x)\) 刻画它的概率规律。如果 \(X\) 的可能取值只有有限多个,或者虽然无穷却能排成一列,那么它的全部概率信息可以浓缩成一张"取值—概率"对照表:知道每个可能值各分到多少概率,就知道了一切。本节研究的正是这类随机变量,它们是本节直到 4.8 节的主角;与之相对的连续型随机变量留待第 5 章。

先看几个熟悉的例子。掷一颗骰子出现的点数取值于 \(\{1,2,\dots,6\}\),掷三枚硬币时正面出现的次数取值于 \(\{0,1,2,3\}\)——这些是有限取值的情形。一页书上的错字个数可以是 \(0,1,2,\dots\),掷骰子直到首次出现 6 所需的次数可以是 \(1,2,3,\dots\)——取值集合虽无穷,却能依次排成一列,即可数无穷(countably infinite)。两类情形合称"至多可数"。

定义 1 离散型随机变量

若随机变量 \(X\) 的可能取值集合 \(\{x:\,P(X=x)>0\}\) 是有限集或可数无穷集,则称 \(X\) 为离散型随机变量(discrete random variable)。该集合中的元素通常记作 \(x_1,x_2,\dots\),称为 \(X\) 的可能值。

"可数"(countable)指集合能与自然数集一一对应,即能把元素排成(有限或无穷的)序列 \(x_1,x_2,\dots\)。应用中常见的随机变量几乎都属此类:个数、次数、件数等取值都是"数得清"的。

定义 2 分布列(概率质量函数)

设 \(X\) 为离散型随机变量,可能值为 \(x_1,x_2,\dots\)。定义 \[ p(x)=P(X=x),\qquad x=x_1,x_2,\dots, \] 称 \(p\) 为 \(X\) 的分布列(probability mass function,简称 pmf,亦译概率质量函数);需要指明所属变量时记作 \(p_X(x)\)。

pmf 把总概率 1 当作"质量"分配到各个可能值上——这正是"质量函数"一名的由来。在可能值之外的实数 \(x\) 处,\(P(X=x)=0\),因此 \(p\) 在 \(\mathbb{R}\) 的其余部分恒取 0。

定理 1 分布列的基本性质

设 \(p\) 是离散型随机变量 \(X\)(可能值 \(x_1,x_2,\dots\))的分布列,则
(i) \(p(x)\ge 0\) 对一切 \(x\) 成立;
(ii) \(\displaystyle\sum_{i}p(x_i)=1\)(规范性);
(iii) 对任意 \(A\subseteq\mathbb{R}\),有 \[ P(X\in A)=\sum_{i:\,x_i\in A}p(x_i). \]

证明事件 \(\{X\in A\}\) 可写为互不相容事件之并: \[ \{X\in A\}=\bigcup_{i:\,x_i\in A}\{X=x_i\}, \] 由概率的可列可加性公理(第 2 章)即得 (iii)。取 \(A=\mathbb{R}\),此时并为必然事件,得 (ii);(i) 则是概率非负性的直接推论。
注记 两条判据与"待定常数"问题

反过来,任何同时满足 (i)、(ii) 的函数都可以充当某个离散型随机变量的分布列:取样本空间 \(S=\{x_1,x_2,\dots\}\) 并令 \(X(x_i)=x_i\) 即可。因此 (i)+(ii) 是 pmf 的完整刻画,也是最常用的检验工具。常见误区是只验证非负而忘记验证总和恰为 1。当分布列中含有待定常数 \(c\) 时,恰恰要用规范性把它解出来——见下面例 2。

2. 写出分布列:数样本点与定常数

求分布列的基本功是"数样本点":在等可能模型下,\(p(x)\) 等于事件 \(\{X=x\}\) 所含样本点数除以样本点总数,而计数正是第 1 章组合分析的用武之地。求出之后务必用规范性 \(\sum p(x)=1\) 自检;若分布列含待定常数,则要用这条性质把常数定出来。

例 1 掷三枚硬币:正面个数的分布列

掷三枚均匀硬币,以 \(X\) 记正面出现的个数。(a) 求 \(X\) 的分布列;(b) 验证它满足规范性;(c) 求 \(P(X\ge 2)\)。

(a) 样本空间由 \(2^{3}=8\) 个等可能结果组成(以 \(H\) 记正面、\(T\) 记反面)。事件 \(\{X=k\}\) 要求在 3 个位置中恰选 \(k\) 个为正面,共有 \(\binom{3}{k}\) 个样本点,故 \[ p(k)=P(X=k)=\frac{\binom{3}{k}}{2^{3}},\qquad k=0,1,2,3, \] 逐点计算得表 1。(b) \(\sum_{k=0}^{3}p(k)=\frac{1+3+3+1}{8}=\frac{8}{8}=1\),规范性成立。(c) 由定理 1(iii), \[ P(X\ge 2)=p(2)+p(3)=\frac{3}{8}+\frac{1}{8}=\frac{1}{2}. \]
表 1:三枚硬币正面个数 X 的分布列
正面数 \(k\)包含的样本点个数 \(\binom{3}{k}\)\(p(k)=\binom{3}{k}/8\)
0TTT\(\binom{3}{0}=1\)\(1/8\)
1HTT, THT, TTH\(\binom{3}{1}=3\)\(3/8\)
2HHT, HTH, THH\(\binom{3}{2}=3\)\(3/8\)
3HHH\(\binom{3}{3}=1\)\(1/8\)
合计81
0 1/8 2/8 3/8 4/8 5/8 6/8 7/8 1 1/8 3/8 3/8 1/8 0 1 2 3 p(k) = C(3,k)/8,k = 0, 1, 2, 3 x(正面出现的次数)
图 1:掷三枚均匀硬币时正面个数 X 的分布列棒图。四根棒的高度 1/8、3/8、3/8、1/8 严格按真实比例(高比 1:3:3:1),即 \(\binom{3}{k}/2^{3}\)。
例 2 用规范性确定待定常数

设 \(p(x)=\dfrac{c}{2^{x}}\),\(x=1,2,\dots\)。问常数 \(c\) 取何值时,\(p\) 可以作为某个离散型随机变量 \(X\) 的分布列?

\(p\) 要成为分布列,必须且只需满足定理 1 的 (i) 与 (ii)。非负性要求 \(c\ge 0\);规范性则要求无穷级数之和为 1。回顾几何级数(geometric series)求和公式:当 \(|r|<1\) 时 \(\sum_{x=1}^{\infty}r^{x}=\dfrac{r}{1-r}\)。于是 \[ 1=\sum_{x=1}^{\infty}\frac{c}{2^{x}} =c\sum_{x=1}^{\infty}\left(\frac{1}{2}\right)^{x} =c\cdot\frac{1/2}{1-1/2}=c\cdot\frac{1/2}{1/2}=c, \] 故 \(c=1\)。反之,\(c=1\) 时两级数相等,确为分布列;而 \(c=0\) 使总和为 0,\(c<0\) 违反非负性,均不行。因此唯一解为 \(c=1\),即 \[ p(x)=\frac{1}{2^{x}}=\frac{1}{2},\;\frac{1}{4},\;\frac{1}{8},\;\dots\qquad(x=1,2,\dots) \] 直观地说:总概率 1 恰好被"一半、四分之一、八分之一……"瓜分殆尽。
注记 例 2 的分布并非拼凑

掷一枚均匀硬币直到首次出现正面所需的次数 \(K\) 满足 \(P(K=k)=(1/2)^{k}\)(前 \(k-1\) 次均为反面、第 \(k\) 次正面),正是例 2 中 \(c=1\) 的分布。把"正面概率"换成一般的 \(p\),就得到 4.8 节的几何分布(geometric distribution)。可见"无穷多个可能值"的分布列同样来自最朴素的试验。

3. 分布列与分布函数的互推

4.1 节定义的分布函数 \(F(x)=P(X\le x)\) 对任何随机变量都有意义;对离散型随机变量,\(F\) 与 \(p\) 携带完全相同的信息,可以互相推算:从 \(p\) 到 \(F\) 靠"累加",从 \(F\) 回到 \(p\) 靠"差分"。

定理 2 pmf 与 CDF 互推

设离散型随机变量 \(X\) 的分布列为 \(p\)、分布函数为 \(F\),则对一切实数 \(x\), \[ F(x)=P(X\le x)=\sum_{x_i\le x}p(x_i); \] 反之,对每个可能值 \(x_j\), \[ p(x_j)=F(x_j)-F(x_j^{-}),\qquad\text{其中 } F(x_j^{-})=\lim_{y\uparrow x_j}F(y)=P(X<x_j). \]

证明对固定的 \(x\),\(\{X\le x\}=\bigcup_{x_i\le x}\{X=x_i\}\) 为互不相容事件之并,由可列可加性得第一式。同理 \(\{X<x_j\}=\bigcup_{x_i<x_j}\{X=x_i\}\),它给出 \(F(x_j^{-})=P(X<x_j)\);而 \(\{X=x_j\}=\{X\le x_j\}\setminus\{X<x_j\}\),两概率相减即得第二式。

由此可知离散型随机变量的分布函数是单调不减的阶梯函数(step function):它在每个可能值 \(x_j\) 处向上跳变,跳变高度恰为 \(p(x_j)\),台阶之间则保持水平;又因定义用的是"\(\le\)",\(F\) 在每点取台阶上端的值,即右连续(right-continuous)。

例 3 由分布列求分布函数并画阶梯图

求例 1 中正面个数 \(X\) 的分布函数 \(F\),画出其图像;再由 \(F\) 反推 \(p(2)\),验证定理 2 的第二式。

由定理 2 第一式,把不超过 \(x\) 的概率累加起来: \[ F(x)=P(X\le x)= \begin{cases} 0, & x<0,\\[2pt] \dfrac{1}{8}, & 0\le x<1,\\[4pt] \dfrac{1}{8}+\dfrac{3}{8}=\dfrac{4}{8}, & 1\le x<2,\\[4pt] \dfrac{4}{8}+\dfrac{3}{8}=\dfrac{7}{8}, & 2\le x<3,\\[4pt] 1, & x\ge 3, \end{cases} \] 分段结果见表 2,图像见图 2:阶梯在 \(x=0,1,2,3\) 处分别跳高 \(\tfrac18,\tfrac38,\tfrac38,\tfrac18\)。反推验证: \[ p(2)=F(2)-F(2^{-})=\frac{7}{8}-\frac{4}{8}=\frac{3}{8}, \] 与表 1 完全一致——台阶的高度就是分布列的值。
表 2:X 的分布函数(分段表示)
\(x\) 的范围\(F(x)=P(X\le x)\)
\(x<0\)\(0\)
\(0\le x<1\)\(1/8\)
\(1\le x<2\)\(4/8\)
\(2\le x<3\)\(7/8\)
\(x\ge 3\)\(1\)
0 1/8 2/8 3/8 4/8 5/8 6/8 7/8 1 +1/8 +3/8 +3/8 +1/8 0 1 2 3 F(x) 的阶梯图:台阶高度 = p(k) 实心点:右连续取值 空心点:左极限未取到 x(正面出现的次数)
图 2:X 的分布函数是一条右连续的阶梯曲线:在 \(x=0,1,2,3\) 处分别跳高 \(p(0)=1/8\)、\(p(1)=3/8\)、\(p(2)=3/8\)、\(p(3)=1/8\)。实心点表示 \(F\) 在跳变点取台阶上端的值,空心点标出左极限。纵轴刻度与图 1 同比例。
注记 用哪一张"名片"

计算 \(X\) 落入某个集合的概率,用 pmf 直接求和最顺手;遇到不等式区间,4.1 节的 \(P(a<X\le b)=F(b)-F(a)\) 与定理 1(iii) 殊途同归,例如 \(P(0.5<X\le 2.5)=F(2.5)-F(0.5)=\tfrac78-\tfrac18=\tfrac34\),可见 \(F\) 天然支持非整数端点。下一节定义期望 \(E[X]=\sum x\,p(x)\) 时,分布列更是唯一的入口(4.3 节);而当取值充满区间时,"求和"须让位于"积分"——那是 5.1 节密度函数的故事。

4. 本节小结

要点回顾
  • 离散型随机变量的可能取值至多可数;其概率规律由分布列 \(p(x)=P(X=x)\) 完整刻画。
  • 分布列两条判据:\(p(x)\ge 0\) 且 \(\sum_x p(x)=1\);含待定常数时由规范性确定(例 2 中解得 \(c=1\))。
  • 事件概率公式 \(P(X\in A)=\sum_{x\in A}p(x)\):把落在 \(A\) 中的"概率质量"全部加起来。
  • pmf 到 CDF 靠累加 \(F(x)=\sum_{y\le x}p(y)\);CDF 回 pmf 靠差分 \(p(x)=F(x)-F(x^{-})\),台阶高度即 \(p(x)\)。
  • 图像语言:pmf 画成棒图(图 1),CDF 画成右连续阶梯(图 2),两幅图可互相读出。

练习

练习 4-2-1

设 \(p(x)=c\big(\tfrac{1}{3}\big)^{x}\),\(x=0,1,2,\dots\)。求常数 \(c\) 使 \(p\) 成为分布列,并计算 \(P(X\ge 2)\)。

答案与提示

由规范性 \(1=c\sum_{x=0}^{\infty}\big(\tfrac13\big)^{x}=c\cdot\dfrac{1}{1-1/3}=c\cdot\dfrac{3}{2}\),故 \(c=\dfrac{2}{3}\)。再由定理 1(iii),\(P(X\ge 2)=\dfrac{2}{3}\sum_{x=2}^{\infty}\dfrac{1}{3^{x}}=\dfrac{2}{3}\cdot\dfrac{1/9}{2/3}=\dfrac{1}{9}\)。

练习 4-2-2

设 \(X\) 的分布函数为 \(F(x)=0\;(x<1)\)、\(F(x)=\tfrac15\;(1\le x<2)\)、\(F(x)=\tfrac{7}{10}\;(2\le x<3)\)、\(F(x)=1\;(x\ge 3)\)。由 \(F\) 读出 \(X\) 的分布列。

答案与提示

\(X\) 只在 \(F\) 的跳变点 \(1,2,3\) 处取正值。\(p(1)=F(1)-F(1^{-})=\tfrac15\);\(p(2)=\tfrac{7}{10}-\tfrac15=\tfrac12\);\(p(3)=1-\tfrac{7}{10}=\tfrac{3}{10}\)。验证:\(\tfrac15+\tfrac12+\tfrac{3}{10}=1\)。

练习 4-2-3

掷三枚均匀硬币,\(X\) 为正面个数(例 1 的分布)。求 \(P(1\le X<3)\) 与 \(P(X>0)\),并说明为何 \(P(X<3)\ne P(X\le 3)\)。

答案与提示

\(P(1\le X<3)=p(1)+p(2)=\tfrac38+\tfrac38=\tfrac34\);\(P(X>0)=1-p(0)=\tfrac78\)。因为 \(p(3)=\tfrac18>0\),\(P(X\le3)=1\) 比 \(P(X<3)=\tfrac78\) 恰多出 \(p(3)\)——离散情形务必留意不等号是否带等号。

练习 4-2-4

问 \(p(x)=\dfrac{x}{15}\;(x=1,2,3,4,5)\) 能否作为分布列?若能,求 \(P(1\le X\le 3)\) 与 \(P\big(X\in\{2,4\}\big)\)。

答案与提示

各值非负,且 \(\sum_{x=1}^{5}\dfrac{x}{15}=\dfrac{15}{15}=1\),规范性成立,故可以。\(P(1\le X\le 3)=\dfrac{1+2+3}{15}=\dfrac35\);\(P\big(X\in\{2,4\}\big)=\dfrac{2+4}{15}=\dfrac25\)。