随机变量序列的依分布收敛性

在本节中，我们定义随机变量序列 $Z_{1}, Z_{2}, \dots, Z_{n}$ 依分布收敛于随机变量 $Z$ 的概念，这是概率论应用中最常用的收敛概念。随机变量序列依分布收敛的概念可以用大量等价的方式来定义，每种方式对于特定目的都很重要。我们不选择其中任何一种作为定义，而是倾向于同时引入所有等价的概念。

定理 3A. 关于依分布收敛的定义和定理。对于 $n = 1, 2, \dots$ ，令 $Z_{n}$ 为具有分布函数 $F_{Z_{n}} (\cdot)$ 和特征函数 $ϕ_{Z_{n}} (\cdot)$ 的随机变量。类似地，令 $Z$ 为具有分布函数 $F_{Z} (\cdot)$ 和特征函数 $ϕ_{Z} (\cdot)$ 的随机变量。我们定义序列 ${Z_{n}}$ 依分布收敛于随机变量 $Z$ ，记作

$或$

读作“ $Z_{n}$ 的律收敛于 $Z$ 的律”，如果以下等价陈述中的任何一个（从而所有）成立：

(i) 对于每一个实变量的有界连续函数 $g (\cdot)$ ，期望 $E [g (Z_{n})]$ 收敛于 $E [g (Z)]$ ；即，当 $n$ 趋于 $\infty$ 时，

(ii) 在每一个实数 $u$ 处，特征函数收敛；即，当 $n$ 趋于 $\infty$ 时，

(iii) 在满足 $a < b$ 的任意两点 $a$ 和 $b$ 处，若极限随机变量 $Z$ 的分布函数 $F_{Z} (\cdot)$ 在该两点连续，则区间 $a$ 到 $b$ 上的概率函数收敛；即，当 $n$ 趋于 $\infty$ 时，

(iv) 在每一个是分布函数 $F_{Z} (\cdot)$ 的连续点的实数 $a$ 处，分布函数收敛；即，当 $n$ 趋于 $\infty$ 时，如果 $a$ 是 $F_{Z} (\cdot)$ 的连续点，

$P [Z_{n} \leq a] = F_{Z_{n}} (a) \to F_{Z} (a) = P [Z \leq a]$

(v) 对于每一个连续函数 $g (\cdot)$ ，当 $n$ 趋于 $\infty$ 时，

$P_{Z_{n}} [{z : g (z) \leq y}] = F_{g (Z_{n})} (y) \to F_{g (Z)} (y) = P_{Z} [{z : g (z) \leq y}]$

在每一个使得分布函数 $F_{g (Z)} (\cdot)$ 连续的实数 $y$ 处成立。

让我们简要说明这些陈述中最重要的几个的意义。依分布收敛的实际含义由 (iii) 表达；读者应比较第 8 章第 5 节中中心极限定理的陈述，以看出 (iii) 构成了断言 $Z$ 的概率律“近似于” $Z_{n}$ 的概率律的精确数学表述。从实际中确立一个随机变量序列依分布收敛的角度来看，人们使用 (ii)，它构成了用特征函数表述的依分布收敛的判据。最后，(v) 代表了一个在应用中极为有用的理论事实，因为它断言如果 $Z_{n}$ 依分布收敛于 $Z$ ，那么作为 $Z_{n}$ 的函数得到的随机变量序列 $g (Z_{n})$ 依分布收敛于 $g (Z)$ ，如果函数 $g (\cdot)$ 是连续的。

我们将这些陈述等价性的证明推迟到第 5 节。

概率论的连续性定理。第 9 章第 3 节的反演公式证明了分布函数与特征函数之间存在一一对应关系；给定一个分布函数 $F (\cdot)$ 及其特征函数

不存在其他以 $ϕ (\cdot)$ 为特征函数的分布函数。定理 3A 中陈述的结果表明，分布函数与特征函数之间的一一对应关系，被视为函数之间的变换，是连续的，其意义在于：分布函数序列 $F_{n} (\cdot)$ 在 $F (\cdot)$ 的所有连续点处收敛于分布函数 $F (\cdot)$ ，当且仅当特征函数序列

在每个实数 $u$ 处收敛于 $F (\cdot)$ 的特征函数 $ϕ (\cdot)$ 。因此，定理 3A 常被称为概率论的连续性定理。

定理 3A 有以下极其重要的推广，读者应有所了解。假设由 (3.6) 定义的特征函数序列 $ϕ_{n} (\cdot)$ 具有在所有实数 $u$ 处收敛于一个函数 $ϕ (\cdot)$ 的性质，且该函数在 $u = 0$ 处连续。可以证明，此时存在一个分布函数 $F (\cdot)$ ，使得 $ϕ (\cdot)$ 为其特征函数。鉴于此事实，概率论的连续性定理有时表述如下：

考虑一个分布函数序列 $F_{n} (x)$ ，其特征函数 $ϕ_{n} (u)$ 由 (3.6) 定义。为使存在一个分布函数 $F (\cdot)$ 使得 $lim_{n \to \infty} F_{n} (x) = F (x)$ 在所有是 $F (x)$ 的连续点的点 $x$ 处成立，其必要且充分条件是存在一个在 $u = 0$ 处连续的函数 $ϕ (u)$ ，使得 $lim_{n \to \infty} ϕ_{n} (u) = ϕ (u) 在所有实数 u 处成立。$

特征函数的展开式。在使用特征函数证明关于依分布收敛的定理时，随机变量的特征函数及其对数的展开式（如引理 3A 和 3B 中给出的那样）起着重要作用。在本章中，我们采用以下关于符号 $θ$ 使用的约定。符号 $θ$ 用于描述任何满足不等式 $| θ | \leq 1$ 的实值或复值量。需要特别注意的是，符号 $θ$ 每次出现时并不表示同一个数，而仅表示它所代表的数的模小于 1。

引理 3A. 设 $X$ 是一个随机变量，其均值 $E [X]$ 存在且等于 0，其方差 $σ^{2} [X] = E [X^{2}]$ 有限。则 (i) 对于任意 $u$

(ii) 对于任意满足 $3 u^{2} E [X^{2}] \leq 1$ 的 $u$ ， $\log ϕ_{X} (u)$ 存在且满足对于某个满足 $| θ | \leq 1$ 的数 $θ$ 成立。此外，如果三阶绝对矩 $E [| X |^{3}]$ 有限，则对于满足 $3 u^{2} E [X^{2}] \leq 1$ 的 $u$

证明

方程 (3.7) 可直接通过关于 $X$ 的分布函数积分以下易于验证的展开式得到

为证明 (3.8)，我们 [由 (3.7)] 写出 $\log ϕ_{X} (u) = \log (1 - r)$ ，其中

现在 $| r | \leq 3 u^{2} E [X^{2}] / 2$ ，因此如果 $u$ 满足 $3 u^{2} E [X^{2}] \leq 1$ ，则 $| r | \leq \frac{1}{2}$ 。对于模 $| r | \leq \frac{1}{2}$ 的任意复数 $r$

因为 $| 1 - r t | \geq 1 - | r t | \geq \frac{1}{2}$ 。(3.8) 的证明完成。

最后，(3.9) 可直接由 (3.8) 推出，因为

$- u^{2} \int_{0}^{1} d t (1 - t) E [X^{2} (e^{i u t X} - 1)] = \frac{(i u)^{3}}{2} \int_{0}^{1} d t (1 - t)^{2} E [X^{3} e^{i u t X}] .$

引理 3B. 以得到 (3.7) 和 (3.8) 的同样方式，可以得到一个均值 $E [Y]$ 存在的随机变量 $Y$ 的特征函数的展开式：对于满足 $6 | u | E [| Y |] \leq 1$ 的 $u$ 成立。

例 3A. 二项随机变量的渐近正态性。在第 6 章第 2 节中陈述了二项随机变量近似服从正态分布。这一断言可以用依分布收敛的概念给出精确的表述。令 $S_{n}$ 为 $n$ 次独立重复伯努利试验中成功的次数，每次试验成功的概率为 $p$ ，并令

令 $Z$ 为任意服从均值为 0、方差为 1 的正态分布的随机变量。我们现在证明序列 ${Z_{n}}$ 依分布收敛于 $Z$ 。为证明此断言，我们首先将 $Z_{n}$ 的特征函数写为如下形式

因此，

其中我们定义

现在 $ϕ_{X} (u)$ 是一个随机变量 $X$ 的特征函数，其均值、均方和三阶绝对矩由下式给出

由 (3.9)，我们有 $\log ϕ_{X} (u)$ 的展开式，对满足 $3 u^{2} E [X^{2}] = 3 u^{2} / n \leq 1$ 的 $u$ 有效：

其中 $θ$ 是某个满足 $| θ | \leq 1$ 的数。

鉴于 (3.16) 和 (3.19)，我们看到对于固定的 $u \neq 0$ 以及足够大的 $n$ 使得 $n \geq 3 u^{2}$ ，

当 $n$ 趋于无穷时，它趋于 $\log ϕ_{Z} (u) = - \frac{1}{2} u^{2}$ 。根据定理 3A 的陈述 (ii)，可知序列 ${Z_{n}}$ 依分布收敛于 $Z$ 。

特征函数可用于证明关于依概率收敛于常数的定理。特别地，读者可以容易地验证以下引理。

引理 3C. 随机变量序列 $Z_{n}$ 依概率收敛于 0，当且仅当它依分布收敛于 0，而这又当且仅当对于每一个实数 $u$ ，

定理 3B. 独立同分布随机变量序列 $X_{1}, X_{2}, \dots, X_{n}$ 具有共同有限均值 $m$ 的大数定律。当 $n$ 趋于 $\infty$ 时，样本均值 $(1 / n) (X_{1} + \dots + X_{n})$ 依概率收敛于均值 $m = E [X]$ ，其中 $X$ 是服从 $X_{1}, X_{2}, \dots, X_{n}$ 的共同概率律的随机变量。

证明

定义 $Y = X - E [X]$ 和

$Z_{n} = \frac{1}{n} (X_{1} + X_{2} + \dots + X_{n}) - E [X] .$

To prove that the sample mean $(1 / n) (X_{1} + X_{2} + \dots + X_{n})$ converges in probability to the mean $E [X]$ , it suffices to show that $Z_{n}$ converges in distribution to 0. Now, for a given value of $u$ and for $n$ so large that $n > 6 | u | E [| Y |]$

which tends to 0 as $n$ tends to $\infty$ , since, for each fixed $t, u$ , and $y, e^{i u t y / n}$ tends to 1 as $n$ tends to $\infty$ . The proof is complete.

Exercises

3.1. Prove lemma 3C.

3.2. Let $X_{1}, X_{2}, \dots, X_{n}$ be independent random variables, each assuming each of the values +1 and -1 with probability $\frac{1}{2}$ . Let $Y_{n} = \sum_{j = 1}^{n} X_{j} / 2^{j}$ . Find the characteristic function of $Y_{n}$ and show that, as $n$ tends to $\infty$ , for each $u, ϕ_{Y_{n}} (u)$ tends to the characteristic function of a random variable $Y$ uniformly distributed over the interval -1 to 1. Consequently, evaluate $P [- 2 < Y_{n} \leq \frac{1}{2}]$ , $P [\frac{1}{4} < Y_{n} \leq \frac{1}{2}]$ approximately.

3.3. Let $X_{1}, X_{2}, \dots, X_{n}$ be independent random variables, identically distributed as the random variable $X$ . For $n = 1, 2, \dots$ , let

$Z_{n} = \frac{S_{n} - E [S_{n}]}{σ [S_{n}]}, S_{n} = X_{1} + X_{2} + \dots X_{n} .$

Assuming that $X$ is (i) binomial distributed with parameters $n = 6$ and $p = \frac{1}{3}$ , (ii) Poisson distributed with parameter $λ = 2$ , (iii) $χ^{2}$ distributed with $v = 2$ degrees of freedom, for each real number $u$ , show that $lim_{n \to \infty} \log$ $ϕ_{Z_{n}} (u) = - \frac{1}{2} u^{2}$ . Consequently, evaluate $P [18 \leq S_{10} \leq 20]$ approximately.

3.4. For any integer $r$ and $0 < p < 1$ let $N (r, p)$ denote the minimum number of trials required to obtain $r$ successes in a sequence of independent repeated Bernoulli trials, in which the probability of success at each trial is $p$ . Let $Z$ be a random variable $χ^{2}$ distributed with $2 r$ degrees of freedom. Show that, at each $u, lim_{p \to 0} ϕ_{2 p N (r, p)} (u) = ϕ_{Z} (u)$ . State in words the meaning of this result.

3.5. Let $Z_{n}$ be binomial distributed with parameters $n$ and $p = λ / n$ , in which $λ > 0$ is a fixed constant. Let $Z$ be Poisson distributed with parameter $λ$ . For each $u$ , show that $lim_{n \to \infty} ϕ_{Z_{n}} (u) = ϕ_{Z} (u)$ . State in words the meaning of this result.

3.6. Let $Z$ be a random variable Poisson distributed with parameter $λ$ . By use of characteristic functions, show that as $λ$ tends to $\infty$

$ℒ (\frac{Z - λ}{\sqrt{λ}}) \to ℒ (Y)$

in which $Y$ is normally distributed with mean 0 and variance 1.

3.7. Show that ${plim}_{n \to \infty} X_{n} = X$ implies that $lim_{n \to \infty} ℒ (X_{n}) = ℒ (X)$ .