大数定律

概率论所有应用所依据的基本经验事实，体现在经验大数定律中，该定律由泊松首次提出（在其著作《关于判决概率的研究》，1837年）：

在许多不同领域，经验现象似乎遵循某种一般规律，可称之为大数定律。该定律指出，通过对大量相似事件进行观测所得出的数量之比，实际上保持恒定，前提是这些事件部分受恒定因素支配，部分受可变因素支配，且这些可变因素的变化是不规则的，不会在特定方向上引起系统性变化。这些比值的某些特定值，是每一类给定事件的特征。随着观测序列长度的增加，从这些观测中得出的比值会越来越接近这些特征常数。如果能够进行无限长的观测序列，则可以预期它们会精确地重现这些常数。

在概率论的数学理论中，可以证明一个命题，称为数学大数定律，该命题可用于深入了解经验大数定律预期成立的条件。关于经验大数定律与数学大数定律之间关系的有趣哲学讨论，以及上述泊松的引文，读者可参阅理查德·冯·米塞斯的《概率、统计与真理》，第二修订版，麦克米伦出版社，纽约，1957年，第104–134页。

一个具有有限均值的联合分布随机变量序列 $X_{1}, X_{2}, \dots, X_{n}$ ，如果满足以下条件，则称其服从（经典）大数定律：

当 $n$ 趋于 $\infty$ 时，该收敛以某种模式成立。序列 ${X_{n}}$ 被称为服从强大数定律、弱大数定律或均方大数定律，这取决于 (2.1) 中的收敛是依概率1收敛、依概率收敛还是均方收敛。在本节中，我们针对独立和相依随机变量，给出大数定律成立的条件。

我们首先考虑具有有限均值的独立随机变量情形。在第3节中，我们将证明，如果共同均值 $E [X]$ 有限，则独立同分布随机变量序列服从弱大数定律。可以证明（参见Loève，《概率论》，Van Nostrand，纽约，1955年，第243页）， $E [X]$ 的有限性也意味着独立同分布随机变量序列服从强大数定律。

在理论练习4.2中，我们指出了具有有限均值的独立（不一定同分布）随机变量的大数定律的证明：如果对于某个 $δ > 0$

那么

方程 (2.2) 被称为独立随机变量弱大数定律成立的马尔可夫条件。

在本节中，我们考虑具有有限均值（可设其为0）和有限方差 $σ_{k}^{2} = E [X_{k}^{2}]$ 的相依随机变量 $X_{k}$ 的情形。我们给出均方大数定律和强大数定律成立的条件，这些条件虽然并非最一般的条件，但对于大多数实际应用来说似乎已足够一般。我们的条件是根据当 $n$ 趋于 $\infty$ 时，协方差

在 $n$ 第个加项 $X_{n}$ 与第 $n$ 个样本均值

$Z_{n} = \frac{X_{1} + X_{2} + \dots + X_{n}}{n} .$

之间的行为来表述的。让我们在关于序列 ${X_{n}}$ 的各种假设下，以及在方差 $Var [X_{n}]$ 一致有界的假设下，即存在一个常数 $M$ 使得

$对所有$

来考察 $C_{n}$ 的可能行为。如果随机变量 ${X_{n}}$ 是独立的，那么当 $k < n$ 时， $E [X_{k} X_{n}] = 0$ 。因此， $C_{n} = σ_{n}^{2} / n$ ，在条件 (2.5) 下，当 $n$ 趋于 $\infty$ 时，它趋于0。如果假设随机变量 ${X_{n}}$ 是正交的，情况也是如此。如果对于任意整数 $k$ 和非零整数 $m \neq 0, E [X_{k} X_{k + m}] = 0$ ，则称随机变量序列 ${X_{n}}$ 是正交的。那么，同样有 $C_{n} = σ_{n}^{2} / n$ 。

更一般地，让我们考虑平稳（宽平稳）的随机变量 ${X_{n}}$ ；这意味着存在一个函数 $R (m)$ ，定义在 $m = 0, 1, 2, \dots$ 上，使得对于任意整数 $k$ 和 $m$ ，

显然，一个正交的随机变量序列（其中所有随机变量具有相同的方差 $σ^{2}$ ）是平稳的，其 $R (m) = σ^{2}$ 或 0，取决于 $m = 0$ 还是 $m > 0$ 。对于平稳序列， $C_{n}$ 的值由下式给出

我们现在证明，在条件 (2.5) 下，样本均值 $Z_{n}$ 均方收敛于0的一个充要条件是 $C_{n}$ 趋于0。在定理2B中，我们给出样本均值 $Z_{n}$ 依概率1收敛于0的条件。

定理2A. 一个具有零均值和一致有界方差的联合分布随机变量序列 ${X_{n}}$ 服从均方大数定律（即 $lim E [Z_{n}^{2}] = 0$ ），当且仅当 $n \to \infty$

证明

由于 $E^{2} [X_{n} Z_{n}] \leq E [X_{n}^{2}] E [Z_{n}^{2}]$ ，显然，如果均方大数定律成立，且方差 $E [X_{n}^{2}]$ 关于 $n$ 一致有界，则 (2.8) 成立。为证明其逆命题，我们首先证明以下有用的恒等式：

为证明 (2.9)，我们写出熟悉的公式

由此，两边除以 $n^{2}$ 即得 (2.9)。鉴于 (2.9)，要完成 (2.8) 蕴含 $E [Z_{n}^{2}]$ 趋于0的证明，只需证明 (2.8) 蕴含

为证 (2.11)，注意到对于任意 $n > N > 0$

在 (2.12) 中，先令 $n$ 趋于无穷大，再令 $N$ 趋于 $\infty$ ，即可见 (2.11) 成立。定理2A的证明完成。

如果已知 $C_{n}$ 以 $n$ 的某次幂的速度趋于0，那么我们可以断定收敛依概率1成立。

定理2B. 一个具有零均值和一致有界方差的联合分布随机变量序列 ${X_{n}}$ 服从强大数定律（即 $P [lim_{n \to \infty} Z_{n} = 0] = 1$ ），如果存在正常数 $M$ 和 $q$ 使得对所有整数 $n$

注：对于平稳随机变量序列 [此时 $C_{n}$ 由 (2.7) 给出]，如果存在正常数 $M$ 和 $q$ 使得对所有整数 $m \geq 1$ 则 (2.13) 成立。

证明

如果 (2.13) 成立，那么（我们可以假设 $0 < q \leq 1$ ）

由 (2.15) 和 (2.9) 可知，对于某个常数和 $q > 0$

$对所有整数$

现在选择任意整数 $r$ 使得 $r > (1 / q)$ ，并定义随机变量序列，其中取为序列 ${Z_{n}}$ 的第 $m^{r}$ 项；用符号表示为：

$对于$

由 (2.16)，序列的均方满足

如果我们对所有的 $m$ 求和 (2.18)，由于 $r q > 1$ ，我们得到一个收敛级数：

因此，由定理1A可知

我们由此证明了序列 ${Z_{n}}$ 的一个适当选取的子序列 ${Z_{m^{r}}}$ 依概率1收敛于0。我们通过证明序列 ${Z_{n}}$ 中位于子序列 ${Z_{m^{r}}}$ 的相继项之间的那些项，不会与该子序列的项相差太大，来完成定理 $2 B$ 的证明。更精确地，定义

我们断言，鉴于 (2.20)，要证明 $P [lim_{n \to \infty} Z_{n} = 0] = 1$ ，只需证明 $P [lim_{m \to \infty} W_{m} = 0] = 1$ 。因此，要完成证明，只需证明

鉴于定理1A，要证明 (2.22) 成立，只需证明

我们通过证明对于某些常数 $M_{U}$ 和 $M_{V}$

$对所有整数$

来证明 (2.23) 成立。为证明 (2.24)，我们注意到

由此可得

其中我们用 $M$ 作为 $E^{1 / 2} [X_{k}^{2}]$ 的界。通过一个微积分论证，利用中值定理，可以证明对于 $r \geq 1$ 和 $m \geq 1$

因此，(2.26) 蕴含了 (2.24) 的第一部分。类似地，

由此可推得 (2.24) 的第二部分。定理2B的证明至此完成。

练习

2.1. 随机数字。 考虑一个离散随机变量 $X$ ，它在数字 0 到 $N - 1$ 上均匀分布，其中 $N \geq 2$ 为任意整数；即，若 $k = 0, 1, 2, \dots, N - 1$ ，则 $P [X = k] = 1 / N$ 。设 ${X_{n}}$ 是与 $X$ 同分布的独立随机变量序列。对于从 0 到 $N - 1$ 的整数 $k$ ，定义 $F_{n} (k)$ 为观测值 $X_{1}, X_{2}, \dots, X_{n}$ 中等于 $k$ 的比例。证明

$P [lim_{n \to \infty} F_{n} (k) = \frac{1}{N}] = 1.$

2.2. 随机数小数展开中数字的分布。 设 $Y$ 是从单位区间中随机选取的一个数（即 $Y$ 是在区间 0 到 1 上均匀分布的随机变量）。设 $X_{1}, X_{2}, \dots$ 是 $Y$ 的小数展开中的连续数字；即，

$Y = \frac{X_{1}}{10} + \frac{X_{2}}{10^{2}} + \dots + \frac{X_{n}}{10^{n}} + \dots .$

证明随机变量 $X_{1}, X_{2}, \dots$ 是独立离散随机变量，且在整数0到9上均匀分布。由此得出结论：对于任意整数 $k$ （例如整数7），在单位区间内任意数 $Y$ 的十进制展开中， $k$ 出现的相对频率等于 $\frac{1}{10}$ ，这对所有数 $Y$ 成立，但构成一个零概率集的数 $Y$ 除外。 $\frac{1}{3}$ 的十进制展开中只出现3这一事实是否与该断言矛盾？