第 7 章 · 期望的性质

7.6 矩母函数

Moment Generating Functions
学习目标
  • 正确写出矩母函数的定义 \(M(t)=E[e^{tX}]\),说明"在 \(0\) 的邻域内存在"这一条件与恒等式 \(M(0)=1\) 的含义;
  • 叙述并证明求矩公式 \(M^{(n)}(0)=E[X^n]\)(证明概要),会用 \(M'(0)\) 与 \(M''(0)\) 读出期望与方差;
  • 陈述矩母函数的唯一性定理,理解"MGF 是分布的指纹"这一说法;
  • 证明独立和性质 \(M_{X+Y}(t)=M_X(t)M_Y(t)\),并用它推导泊松、正态、伽马分布的可加性;
  • 亲手推导泊松分布与正态分布的矩母函数(后者需掌握配方技巧),并能查用常见分布速查表识别分布。

1. 定义:为什么是 \(e^{tX}\)

此前计算期望、方差乃至高阶矩,每遇一个新分布都要"就事论事"地求和或积分。本节引入的矩母函数(moment generating function, 简称 MGF)把一个随机变量的全部(moment)打包进一个光滑函数:此后求矩变成求导,识别分布变成查表,而独立随机变量之和的分布问题竟化作函数相乘。它是第 7 章三大工具(期望的线性性、条件期望、矩母函数)中最"代数化"的一件,也是第 8 章中心极限定理传统证明的载体。

直观从指数函数的幂级数(power series)展开开始。把 \(e^{tX}\) 视为普通变量 \(t\) 的函数并对 \(X\) 取期望,若允许期望与无穷求和交换次序,则

\[ M(t)=E\big[e^{tX}\big]=E\!\left[\sum_{n=0}^{\infty}\frac{t^n X^n}{n!}\right]=\sum_{n=0}^{\infty}E[X^n]\,\frac{t^n}{n!}, \]

各阶矩 \(E[X^n]\) 恰好是幂级数的系数:\(M(t)\) 像母体一样"生成"了 \(X\) 的所有矩,"矩母"之名由此而来。而在 \(t=0\) 处逐次求导,就能把任何一个系数单独"抠"出来——这正是下面定义与定理的用意。

定义 1 矩母函数

设 \(X\) 为随机变量。若存在 \(h>0\),使得 \(e^{tX}\) 的期望对一切 \(t\in(-h,h)\) 有限,则称

\[ M_X(t) = E\big[e^{tX}\big], \qquad t\in(-h,h) \]

为 \(X\) 的矩母函数。离散型随机变量的计算式为 \(M(t)=\sum_x e^{tx}\,p(x)\);连续型为 \(M(t)=\int_{-\infty}^{\infty} e^{tx}\,f(x)\,dx\)。

由 \(e^{0\cdot X}=1\) 恒有 \(M(0)=1\),且 \(M\) 在其存在域内光滑、可逐次求导。\(M(0)=1\) 也是验算一条 MGF 推导是否出错的第一道关卡。

关于存在域再作两点说明。其一,"在 \(0\) 的某个邻域内存在"是实质性条件:若只在 \(t=0\) 一点有限,函数不携带任何分布信息。其二,存在域因分布而异:有界随机变量(如伯努利、二项、均匀)的 MGF 对全体实数 \(t\) 存在;指数与伽马分布只在 \(t<\lambda\) 内存在;而重尾的柯西分布除 \(t=0\) 外处处不存在 MGF(见第 5 小节注记)。因此严格地说,MGF 是一件"有条件的好工具"。

2. 三大性质:求矩、指纹与乘法

定理 1 求矩公式

设 \(X\) 的矩母函数在 \((-h,h)\) 内存在,则对每个正整数 \(n\),\(X\) 的 \(n\) 阶矩有限,且

\[ M^{(n)}(0) = E\big[X^n\big]. \]

证明概要在收敛区间内幂级数可逐项求导,这等价于允许"求导与期望交换次序":

\[ M'(t) = \frac{d}{dt}\,E\big[e^{tX}\big] = E\big[X e^{tX}\big]. \]

对 \(M'(t)\) 归纳地重复同一论证,得 \(M^{(n)}(t)=E[X^n e^{tX}]\);令 \(t=0\) 即得结论。最常用的两个特例是

\[ E[X] = M'(0), \qquad \mathrm{Var}(X) = M''(0) - \big[M'(0)\big]^2. \]

定理 2 唯一性(分布的指纹)

若 \(X\) 与 \(Y\) 的矩母函数都在 \(t=0\) 的某公共邻域内存在,且在该邻域内处处相等:\(M_X(t)=M_Y(t)\),则 \(X\) 与 \(Y\) 具有相同的分布。(证明超出本书范围,从略。)

应当把这条定理读作"MGF 是分布的指纹":两个看似不相干的随机变量,只要 MGF 相同,分布就完全一样。于是,计算出 \(X+Y\) 的 MGF 后与速查表(表 1)对照,即可"认出"和的分布——例 3、例 4 都靠这一步收尾。反过来,它也说明表 1 中每一条 MGF 都唯一刻画对应的分布,别无分店。

定理 3 独立随机变量之和

设 \(X\) 与 \(Y\) 独立,矩母函数分别为 \(M_X\)、\(M_Y\),且都在 \(0\) 的邻域内存在,则

\[ M_{X+Y}(t) = M_X(t)\,M_Y(t). \]

证明由独立性以及"独立随机变量乘积的期望等于期望之乘积",

\[ M_{X+Y}(t) = E\big[e^{t(X+Y)}\big] = E\big[e^{tX}\,e^{tY}\big] = E\big[e^{tX}\big]\,E\big[e^{tY}\big] = M_X(t)\,M_Y(t). \]

证明只有一行,威力却巨大:它把"求独立和的分布"(第 6 章中往往要算卷积)化为"函数相乘"。用归纳法立得:\(n\) 个相互独立的随机变量之和的 MGF 等于各自 MGF 之积。

矩母函数的三大用途 矩母函数 M(t) = E[etX],M(0) = 1 ① 矩工厂:求矩 M′(0) = E[X] M″(0) = E[X2] Var = M″(0) − M′(0)2 求一次导,得一个矩 ② 分布指纹:唯一性 MGF 与分布一一对应 邻域内 MX(t) = MY(t) ⇒ X 与 Y 同分布 查表即可认出分布 ③ 独立和:乘法 X, Y 独立 ⇒ MX+Y(t) = MX(t)·MY(t) 泊松、正态、Γ 可加 卷积分变成乘法 三大用途在例 1–5 中逐一演示:例 1、2、5 用求矩,例 3、4 靠乘法与指纹收尾
图 1:矩母函数 \(M(t)=E[e^{tX}]\) 的三大用途——矩工厂(定理 1)、分布指纹(定理 2)与独立和乘法(定理 3)。

3. 常见分布的矩母函数

表 1 汇总了本书常见分布的 MGF、存在域、期望与方差,建议置于手边随时查用——它是本节以及 7.7 节、8.3 节反复查阅的"对数表"。表中泊松与正态两条的推导最具代表性,完整给出如下。

表 1:常见分布的矩母函数速查表(约定 \(q=1-p\))
分布参数矩母函数 \(M(t)\)存在域\(E[X]\)\(\mathrm{Var}(X)\)
伯努利 \(B(1,p)\)\(0<p<1\)\(q+pe^{t}\)全体 \(t\)\(p\)\(pq\)
二项 \(B(n,p)\)\(n\in\mathbb{N}\)\((q+pe^{t})^{n}\)全体 \(t\)\(np\)\(npq\)
泊松 \(\mathrm{Poisson}(\lambda)\)\(\lambda>0\)\(e^{\lambda(e^{t}-1)}\)全体 \(t\)\(\lambda\)\(\lambda\)
指数 \(\mathrm{Exp}(\lambda)\)\(\lambda>0\)\(\dfrac{\lambda}{\lambda-t}\)\(t<\lambda\)\(\dfrac{1}{\lambda}\)\(\dfrac{1}{\lambda^{2}}\)
正态 \(N(\mu,\sigma^{2})\)\(\mu\in\mathbb{R},\ \sigma^{2}>0\)\(e^{\mu t+\sigma^{2}t^{2}/2}\)全体 \(t\)\(\mu\)\(\sigma^{2}\)
均匀 \(U(0,1)\)\(\dfrac{e^{t}-1}{t}\),补充 \(M(0)=1\)全体 \(t\)\(\dfrac{1}{2}\)\(\dfrac{1}{12}\)
伽马 \(\Gamma(\alpha,\lambda)\)\(\alpha,\lambda>0\)\(\Big(\dfrac{\lambda}{\lambda-t}\Big)^{\alpha}\)\(t<\lambda\)\(\dfrac{\alpha}{\lambda}\)\(\dfrac{\alpha}{\lambda^{2}}\)
例 1 泊松分布的 MGF 并验证 \(M'(0)=\lambda\)

设 \(X\sim\mathrm{Poisson}(\lambda)\),\(\lambda>0\),求 \(M(t)\),并用定理 1 验证 \(E[X]=\lambda\)。

由分布列 \(p(k)=e^{-\lambda}\lambda^{k}/k!\)(4.7 节)得

\[ M(t)=\sum_{k=0}^{\infty} e^{tk}\,e^{-\lambda}\frac{\lambda^{k}}{k!} = e^{-\lambda}\sum_{k=0}^{\infty}\frac{(\lambda e^{t})^{k}}{k!} = e^{-\lambda}\,e^{\lambda e^{t}} = e^{\lambda(e^{t}-1)}, \]

求和对象恰是指数函数的泰勒级数,故级数对全体 \(t\in\mathbb{R}\) 收敛。求导:

\[ M'(t) = \lambda e^{t}\,e^{\lambda(e^{t}-1)} \quad\Longrightarrow\quad M'(0) = \lambda\cdot 1\cdot e^{0} = \lambda = E[X]. \]

再求导一次得 \(M''(t)=(\lambda e^{t}+\lambda^{2}e^{2t})\,e^{\lambda(e^{t}-1)}\),故 \(M''(0)=\lambda+\lambda^{2}\),于是 \(\mathrm{Var}(X)=(\lambda+\lambda^{2})-\lambda^{2}=\lambda\),与 4.7 节的结果一致。一条指数级数,期望方差全部到手。

例 2 正态分布的 MGF(配方技巧)

设 \(X\sim N(\mu,\sigma^{2})\),证明 \(M(t)=e^{\mu t+\sigma^{2}t^{2}/2}\)。

关键一步是配方(completing the square):把指数上的二次式凑成"完全平方 + 常数",

\[ tx-\frac{(x-\mu)^{2}}{2\sigma^{2}} = -\frac{\big(x-\mu-\sigma^{2}t\big)^{2}}{2\sigma^{2}} + \mu t+\frac{\sigma^{2}t^{2}}{2}. \]

于是

\[ M(t)=\frac{1}{\sqrt{2\pi}\,\sigma}\int_{-\infty}^{\infty}\exp\!\Big(tx-\frac{(x-\mu)^{2}}{2\sigma^{2}}\Big)\,dx = e^{\mu t+\sigma^{2}t^{2}/2}\cdot\frac{1}{\sqrt{2\pi}\,\sigma}\int_{-\infty}^{\infty}e^{-\frac{(x-\mu-\sigma^{2}t)^{2}}{2\sigma^{2}}}\,dx = e^{\mu t+\sigma^{2}t^{2}/2}, \]

因为第二个积分号下恰是 \(N(\mu+\sigma^{2}t,\ \sigma^{2})\) 的密度,积分值为 \(1\);结论对全体 \(t\in\mathbb{R}\) 成立。检查:\(M'(t)=(\mu+\sigma^{2}t)\,e^{\mu t+\sigma^{2}t^{2}/2}\),故 \(M'(0)=\mu\);又 \(M''(0)=\sigma^{2}+\mu^{2}\),故 \(\mathrm{Var}(X)=\sigma^{2}\)。一次推导,期望与方差"免费"附赠。

−0.5 −0.25 0 0.25 0.5 0.5 1.0 1.5 2.0 M(t) t M(t) = exp(μt + σ2t2/2) N(0, 4) N(0, 1) N(1, 1) M(0) = 1(三线共点)
图 2:正态分布 \(N(\mu,\sigma^{2})\) 的矩母函数曲线族(\(t\in(-0.5,\,0.5)\),纵轴为真实比例)。三条曲线在 \(t=0\) 处汇于 \(M(0)=1\);斜率 \(M'(0)=\mu\) 决定倾斜方向(\(\mu=1\) 时右端陡增),\(\sigma^{2}\) 决定弯曲程度(\(\sigma^{2}=4\) 的曲线最弯)。

4. 应用:独立和的分布与高阶矩

本节的三个应用例题展示 MGF 的完整工作流:乘法(定理 3)算出和的 MGF,指纹(定理 2)对照表 1 认出分布;或直接求导(定理 1)读出矩。

例 3 泊松分布的可加性

设 \(X\sim\mathrm{Poisson}(\lambda_{1})\) 与 \(Y\sim\mathrm{Poisson}(\lambda_{2})\) 相互独立,证明 \(X+Y\sim\mathrm{Poisson}(\lambda_{1}+\lambda_{2})\)。

由定理 3 与例 1,

\[ M_{X+Y}(t) = e^{\lambda_{1}(e^{t}-1)}\cdot e^{\lambda_{2}(e^{t}-1)} = e^{(\lambda_{1}+\lambda_{2})(e^{t}-1)}, \]

右端恰是 \(\mathrm{Poisson}(\lambda_{1}+\lambda_{2})\) 的 MGF。由唯一性定理(定理 2),\(X+Y\sim\mathrm{Poisson}(\lambda_{1}+\lambda_{2})\)。例如某服务台上午来电数 \(\lambda_{1}=2\)、下午来电数 \(\lambda_{2}=3.5\) 且相互独立,则全天来电数服从 \(\mathrm{Poisson}(5.5)\),期望与方差都是 \(5.5\)。对照第 6 章用卷积公式对二重和式重新组合的算法,MGF 三行解决问题。

例 4 正态分布的可加性

设 \(X\sim N(\mu_{1},\sigma_{1}^{2})\) 与 \(Y\sim N(\mu_{2},\sigma_{2}^{2})\) 相互独立,证明 \(X+Y\sim N(\mu_{1}+\mu_{2},\ \sigma_{1}^{2}+\sigma_{2}^{2})\)。

由例 2 与定理 3,

\[ M_{X+Y}(t) = e^{\mu_{1}t+\sigma_{1}^{2}t^{2}/2}\cdot e^{\mu_{2}t+\sigma_{2}^{2}t^{2}/2} = e^{(\mu_{1}+\mu_{2})\,t+(\sigma_{1}^{2}+\sigma_{2}^{2})\,t^{2}/2}, \]

右端是 \(N(\mu_{1}+\mu_{2},\ \sigma_{1}^{2}+\sigma_{2}^{2})\) 的 MGF,由定理 2 即得结论:独立正态变量相加,均值与方差分别相加。请注意独立性不可省略——不独立的正态变量之和未必正态,7.7 节将细致讨论正态变量的这类性质。

例 5 用 \(M''(0)\) 求指数分布的 \(E[X^{2}]\) 与方差

设 \(X\sim\mathrm{Exp}(\lambda)\)(5.5 节),\(\lambda>0\),先用积分求 \(M(t)\),再由 \(M''(0)\) 导出 \(\mathrm{Var}(X)=1/\lambda^{2}\)。

当 \(t<\lambda\) 时,

\[ M(t)=\int_{0}^{\infty} e^{tx}\,\lambda e^{-\lambda x}\,dx = \lambda\int_{0}^{\infty} e^{-(\lambda-t)x}\,dx = \frac{\lambda}{\lambda-t}, \]

逐次求导:\(M'(t)=\lambda(\lambda-t)^{-2}\),\(M''(t)=2\lambda(\lambda-t)^{-3}\),故

\[ M'(0)=\frac{1}{\lambda}, \qquad M''(0)=E\big[X^{2}\big]=\frac{2}{\lambda^{2}}, \qquad \mathrm{Var}(X)=\frac{2}{\lambda^{2}}-\Big(\frac{1}{\lambda}\Big)^{2}=\frac{1}{\lambda^{2}}, \]

与 5.5 节两次分部积分的结果一致,而这里只做了两次"幂次下移"式的求导。另外,把上式与表 1 对照可见:\(\mathrm{Exp}(\lambda)\) 正是 \(\Gamma(1,\lambda)\) 的特例。

5. 联合矩母函数与柯西警示

定义 2 联合矩母函数

对随机向量 \((X,Y)\),称

\[ M(s,t) = E\big[e^{sX+tY}\big] \]

(当其在 \((0,0)\) 的某邻域内有限时)为 \((X,Y)\) 的联合矩母函数(joint moment generating function)。

与定理 1 完全类似,混合偏导数给出混合矩:\(\dfrac{\partial^{\,i+j}M}{\partial s^{\,i}\,\partial t^{\,j}}\Big|_{(0,0)}=E[X^{i}Y^{j}]\),例如 \(\dfrac{\partial^{2}M}{\partial s\,\partial t}\Big|_{(0,0)}=E[XY]\),这正是 7.3 节计算协方差所需的原材料。还可以证明:\(X\) 与 \(Y\) 独立当且仅当 \(M(s,t)=M_{X}(s)\,M_{Y}(t)\) 在 \((0,0)\) 的某邻域内成立——这把定理 3 的单向乘法性质完善为严格的独立性刻画。

注记 柯西分布没有矩母函数

柯西分布(Cauchy distribution)的密度为 \(f(x)=\dfrac{1}{\pi(1+x^{2})}\)。对任何 \(t>0\),被积函数 \(e^{tx}f(x)\) 当 \(x\to+\infty\) 时以指数速度增长,积分发散;\(t<0\) 时左尾同理。故除 \(t=0\) 外 \(M(t)\) 处处为无穷——柯西分布在 \(0\) 的任何邻域内都没有 MGF(事实上它连 \(E|X|\) 都发散)。这提醒我们:MGF 是"够用且好用"的工具,而非人人持有的门票。对这类重尾分布,更一般的工具是特征函数(characteristic function) \(E[e^{itX}]\),它对一切分布都存在,其理论超出本书范围。此外,"所有各阶矩都存在且相等"也不足以确定分布(见练习 4)——唯一性定理的力量恰恰来自"MGF 在邻域内存在"这一前提。

6. 本节小结

要点回顾
  • 定义:\(M(t)=E[e^{tX}]\),要求在 \(t=0\) 的某邻域内存在;恒有 \(M(0)=1\)。
  • 求矩:\(M^{(n)}(0)=E[X^n]\);特别地 \(E[X]=M'(0)\),\(\mathrm{Var}(X)=M''(0)-[M'(0)]^{2}\)。
  • 唯一性:邻域内 MGF 相同即分布相同——MGF 是分布的指纹,查表 1 可识别分布。
  • 独立和:独立时 \(M_{X+Y}(t)=M_X(t)M_Y(t)\);由此泊松、正态、伽马分布均可加(例 3、例 4 与练习 3)。
  • 联合 MGF \(E[e^{sX+tY}]\) 给出混合矩并刻画独立性;柯西分布提示 MGF 并非对一切分布存在。

练习

练习 7-6-1

设随机变量 \(X\) 的矩母函数为 \(M(t)=(0.75+0.25e^{t})^{8}\)。识别 \(X\) 的分布,并求 \(E[X]\) 与 \(\mathrm{Var}(X)\)。

答案与提示

对照表 1,这是二项分布 \(B(n,p)\) 的 MGF \((q+pe^{t})^{n}\),参数 \(n=8\)、\(p=0.25\)、\(q=0.75\)。由唯一性定理,\(X\sim B(8,\,0.25)\)。于是 \(E[X]=np=8\times0.25=2\)(也可直接验证 \(M'(t)=8(0.75+0.25e^{t})^{7}\cdot0.25e^{t}\),\(M'(0)=2\)),\(\mathrm{Var}(X)=npq=8\times0.25\times0.75=1.5\)。MGF 相同 ⇒ 分布相同,这是"指纹"用法最直接的演练。

练习 7-6-2

设 \(X\) 服从几何分布:\(P(X=k)=q^{\,k-1}p,\ k=1,2,\dots\)(\(q=1-p\))。求 \(M(t)\) 及其存在域,并验证 \(M'(0)=1/p\)。

答案与提示

\(M(t)=\sum_{k=1}^{\infty}e^{tk}\,q^{k-1}p = pe^{t}\sum_{j=0}^{\infty}(qe^{t})^{j} = \dfrac{pe^{t}}{1-qe^{t}}\),几何级数要求 \(qe^{t}<1\),即存在域为 \(t<-\ln q\)。求导得 \(M'(t)=\dfrac{pe^{t}}{(1-qe^{t})^{2}}\),故 \(M'(0)=\dfrac{p}{(1-q)^{2}}=\dfrac{p}{p^{2}}=\dfrac{1}{p}=E[X]\),与 4.5 节(或 7.4 节自引用方程)的结果一致。

练习 7-6-3

设 \(X\sim\Gamma(\alpha_{1},\lambda)\) 与 \(Y\sim\Gamma(\alpha_{2},\lambda)\) 相互独立(形状参数不同、尺度参数相同)。用 MGF 证明 \(X+Y\sim\Gamma(\alpha_{1}+\alpha_{2},\,\lambda)\),并说明它如何蕴含例 5 中指数分布的结论。

答案与提示

由表 1 与定理 3,\(M_{X+Y}(t)=\Big(\dfrac{\lambda}{\lambda-t}\Big)^{\alpha_{1}}\Big(\dfrac{\lambda}{\lambda-t}\Big)^{\alpha_{2}}=\Big(\dfrac{\lambda}{\lambda-t}\Big)^{\alpha_{1}+\alpha_{2}}\)(\(t<\lambda\)),恰为 \(\Gamma(\alpha_{1}+\alpha_{2},\lambda)\) 的 MGF,由唯一性得证。取 \(\alpha_{1}=\alpha_{2}=1\):两个独立 \(\mathrm{Exp}(\lambda)\) 之和 \(\sim\Gamma(2,\lambda)\);一般地 \(n\) 个独立 \(\mathrm{Exp}(\lambda)\) 之和 \(\sim\Gamma(n,\lambda)\)(埃尔朗分布)。当 \(\lambda=\tfrac{1}{2}\)、\(\alpha=\tfrac{n}{2}\) 时即 \(n\) 个自由度的卡方分布,7.7 节将正式引入。

练习 7-6-4

"两个随机变量若所有各阶矩都对应相等,则它们同分布"——这一说法对吗?它与定理 2 矛盾吗?

答案与提示

不对。经典反例基于对数正态分布:\(f(x)=\dfrac{1}{x\sqrt{2\pi}}e^{-(\ln x)^{2}/2}\ (x>0)\),取 \(f_{a}(x)=f(x)\big[1+a\sin(2\pi\ln x)\big]\)(\(|a|\le1\),\(a\ne0\)),它与 \(f\) 是不同分布,却拥有完全相同的各阶矩(正弦因子在逐矩积分中恰好抵消)。矛盾并不存在:这类分布的各阶矩增长过快(\(E[X^{n}]=e^{n^{2}/2}\)),使 \(E[e^{tX}]\) 对任何 \(t>0\) 发散,即在 \(0\) 的邻域内 MGF 不存在,定理 2 的前提根本不满足。教训:"MGF 相同"强于"所有矩相同",唯一性的力量来自 MGF 的存在性前提。