随机变量序列的收敛模式

考虑一个定义在同一概率空间 $S$ 上的联合分布随机变量序列 $Z_{1}, Z_{2}, \dots$ ， $Z_{n}$ ，该概率空间上已定义了一个概率函数 $P [\cdot]$ 。设 $Z$ 为定义在同一概率空间上的另一个随机变量。随机变量序列 $Z_{n}$ 收敛到随机变量 $Z$ 的概念可以有多种定义方式。

我们首先考虑以概率1收敛的概念。如果 $P [lim_{n \to \infty} Z_{n} = Z] = 1$ ，或者换句话说，如果对于定义这些随机变量的概率空间 $S$ 中的几乎所有成员 $s$ ，都有 $lim_{n \to \infty} Z_{n} (s) = Z (s)$ ，则称 $Z_{n}$ 以概率1收敛到 $Z$ 。证明一个随机变量序列 $Z_{n}$ 以概率1收敛通常是一个技术上的难题。因此，概率论中引入了另外两种随机变量的收敛类型，分别称为均方收敛和依概率收敛。这些收敛模式比以概率1收敛更容易处理，同时在概念上与之相似。

序列 $Z_{1}, Z_{2}, \dots, Z_{n}$ 被称为均方收敛到随机变量 $Z$ ，记作 $l . i . m ._{n \to \infty} Z_{n} = Z$ ，如果 $lim_{n \to \infty} E [(Z_{n} - Z)^{2}] = 0$ ，或者换句话说，如果 $Z_{n}$ 和 $Z$ 之间的均方差趋于0。

序列 $Z_{1}, Z_{2}, \dots, Z_{n}$ 被称为依概率收敛到随机变量 $Z$ ，记作 ${plim}_{n \to \infty} Z_{n} = Z$ ，如果对于每一个正数 $ϵ$ ，有方程 (1.1) 可以用语言表述为：对于任意固定的差值 $ϵ$ ，当 $n$ 趋于无穷大时，事件 $Z_{n}$ 和 $Z$ 的差值超过 $ϵ$ 的概率可以任意接近0。

依概率收敛的重要性源于这样一个事实：与以概率1收敛一样，在考虑它之前不需要存在任何矩，而均方收敛则不然。显然，如果均方收敛成立，那么依概率收敛也成立；只需考虑切比雪夫不等式的以下形式：对于任意 $ϵ > 0$

以概率1收敛和依概率收敛之间存在的关系，最好通过考虑以下以概率1收敛的特征来理解，我们在此不加证明地陈述。设 $Z_{1}, Z_{2}, \dots, Z_{n}$ 是一个联合分布的随机变量序列； $Z_{n}$ 以概率1收敛到随机变量 $Z$ ，当且仅当对于每一个 $ϵ > 0$

另一方面，序列 ${Z_{n}}$ 依概率收敛到 $Z$ ，当且仅当对于每一个 $ϵ > 0$ ，(1.1) 成立。现在，显然如果 $| Z_{N} - Z | > ϵ$ ，那么 $sup_{n \geq N} | Z_{n} - Z | > ϵ$ 。因此，

$P [| Z_{N} - Z | > ϵ] \leq P [sup_{n \geq N} | Z_{n} - Z | > ϵ],$

并且 (1.3) 蕴含 (1.1)。因此，如果 $Z_{n}$ 以概率1收敛到 $Z$ ，那么它依概率收敛到 $Z$ 。

序列 ${Z_{n}}$ 以概率1收敛到 $Z$ 意味着，可以对序列 ${Z_{n}}$ 中除有限个成员外的所有成员同时做出概率陈述：给定任意正数 $ϵ$ 和 $δ$ ，存在一个整数 $N$ 使得

另一方面，序列 ${Z_{n}}$ 依概率收敛到 $Z$ 仅意味着，可以对序列 ${Z_{n}}$ 中除有限个成员外的每一个成员分别做出概率陈述：给定任意正数 $ϵ$ 和 $δ$ ，存在一个整数 $N$ 使得因此可以看出，依概率收敛既可由以概率1收敛推出，也可由均方收敛推出。然而，在没有附加条件的情况下，依概率收敛既不蕴含均方收敛，也不蕴含以概率1收敛。此外，以概率1收敛既不蕴含均方收敛，也不被均方收敛所蕴含。

以下定理给出了均方收敛蕴含以概率1收敛的一个条件。

定理 1A. 如果序列 $Z_{n}$ 以如下方式均方收敛到0，即那么可以推出 $Z_{n}$ 以概率1收敛到0。

证明

由 (1.6) 可得因为可以证明，对于非负加项的无穷级数，和的期望等于期望的和。接下来，由无穷级数 $\sum_{n = 1}^{\infty} Z_{n}^{2}$ 具有有限均值这一事实，可以推出它以概率1有限；用符号表示，即如果一个无穷级数收敛，那么它的一般项趋于0。因此，由 (1.8) 可得定理 1A 的证明完成。尽管定理 1A 的证明是完全严格的，但其论证需要用到概率空间上积分理论的两个基本事实，这些事实在本书中尚未建立。