联合分布随机变量的期望

考虑两个联合分布的随机变量 $X_{1}$ 和 $X_{2}$ 。函数 $g (x_{1}, x_{2})$ （关于两个实变量）的期望 $E_{X_{1}, X_{2}} [g (x_{1}, x_{2})]$ 定义如下：

如果随机变量 $X_{1}$ 和 $X_{2}$ 是联合连续的，具有联合概率密度函数 $f_{X_{1}, X_{2}} (x_{1}, x_{2})$ ，则

如果随机变量 $X_{1}$ 和 $X_{2}$ 是联合离散的，具有联合概率质量函数 $p_{X_{1}, X_{2}} (x_{1}, x_{2})$ ，则

$对所有满足的$

如果随机变量 $X_{1}$ 和 $X_{2}$ 具有联合分布函数 $F_{X_{1}, X_{2}} (x_{1}, x_{2})$ ，则

其中二维斯蒂尔切斯积分可以以类似于第5章第6节中定义一维斯蒂尔切斯积分的方式来定义。

另一方面， $g (X_{1}, X_{2})$ 是一个随机变量，其期望为

$对所有满足的点$

取决于 $g (X_{1}, X_{2})$ 的概率律是由其分布函数、概率密度函数还是概率质量函数来指定。

概率论的一个基本事实是，对于任何联合分布的随机变量 $X_{1}$ 和 $X_{2}$ 以及任何博雷尔函数 $g (x_{1}, x_{2})$

其意义在于，如果(2.5)中的任何一个期望存在，那么另一个也存在，并且两者相等。(2.5)的严格证明超出了本书的范围。

鉴于(2.5)，我们有两种方法来计算联合分布随机变量函数的期望。方程(2.5)推广了(1.5)。类似地，(1.11)也可以被推广。

设 $X_{1}, X_{2}$ 和 $Y$ 为随机变量，使得对于某个博雷尔函数 $g_{1} (x_{1}, x_{2})$ 有 $Y = g_{1} (X_{1}, X_{2})$ 。那么对于任何博雷尔函数 $g (\cdot)$

随机变量期望运算所拥有的最重要性质是其线性性质：如果 $X_{1}$ 和 $X_{2}$ 是联合分布的随机变量，具有有限期望 $E [X_{1}]$ 和 $E [X_{2}]$ ，那么和 $X_{1} + X_{2}$ 具有由下式给出的有限期望让我们在 $X_{1}$ 和 $X_{2}$ 联合连续的情况下概述(2.7)的证明。读者可以通过查阅第2章中(6.22)的证明，来了解一般情况下(2.7)是如何证明的。

由(2.5)可得

现在

右侧的积分等于左侧积分之和。(2.7)的证明至此完成。

联合分布随机变量的矩和矩母函数是通过直接推广单个随机变量的定义来定义的。对于任何两个非负整数 $n_{1}$ 和 $n_{2}$ ，我们定义为联合分布随机变量 $X_{1}$ 和 $X_{2}$ 的一个矩。和 $n_{1} + n_{2}$ 称为矩的阶。对于1阶和2阶矩，我们有以下名称； $α_{1, 0}$ 和 $α_{0, 1}$ 分别是 $X_{1}$ 和 $X_{2}$ 的均值，而 $α_{2, 0}$ 和 $α_{0, 2}$ 分别是 $X_{1}$ 和 $X_{2}$ 的均方。矩 $α_{11} = E [X_{1} X_{2}]$ 称为乘积矩。

接下来我们定义随机变量 $X_{1}$ 和 $X_{2}$ 的中心矩。对于任意两个非负整数 $n_{1}$ 和 $n_{2}$ ，我们定义为 $n_{1} + n_{2}$ 阶中心矩。我们再次特别关注 1 阶和 2 阶中心矩。1 阶中心矩 $μ_{1, 0}$ 和 $μ_{0, 1}$ 均为零，而 $μ_{2, 0}$ 和 $μ_{0, 2}$ 分别是 $X_{1}$ 和 $X_{2}$ 的方差。中心矩 $μ_{1, 1}$ 称为随机变量 $X_{1}$ 和 $X_{2}$ 的协方差，记作 $Cov [X_{1}, X_{2}]$ ；用符号表示为我们留给读者证明：协方差等于乘积矩减去均值的乘积；用符号表示为

协方差的重要性源于它在两个随机变量之和的方差基本公式中所起的作用：

为证明 (2.11)，我们写出由此，根据 (1.8) 和 (2.10) 可得 (2.11)。

对于任意两个实数 $t_{1}$ 和 $t_{2}$ ，联合矩母函数定义为 $ψ_{X_{1}, X_{2}} (t_{1}, t_{2}) = E [e^{(t_{1} X_{1} + t_{2} X_{2})}] .$

矩可以从矩母函数的幂级数展开中读出，因为形式上

特别地， $X_{1}$ 和 $X_{2}$ 的均值、方差和协方差可以用矩母函数的导数表示：其中 $m_{1} = E [X_{1}], m_{2} = E [X_{2}]$ 。

例 1.

例 2A . 联合正态随机变量的联合矩母函数和协方差。设 $X_{1}$ 和 $X_{2}$ 是联合正态分布的随机变量，其联合概率密度函数为

$Missing or unrecognized delimiter for \left\begin{align} f_{X_{1}, X_{2}}\left(x_{1}, x_{2}\right)= & \frac{1}{2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}} \exp \left{-\frac{1}{2\left(1-\rho^{2}\right)}\left[\left(\frac{x_{1}-m_{1}}{\sigma_{1}}\right)^{2}\right.\right. \tag{2.18}\ & \left.\left.-2 \rho\left(\frac{x_{1}-m_{1}}{\sigma_{1}}\right)\left(\frac{x_{2}-m_{2}}{\sigma_{2}}\right)+\left(\frac{x_{2}-m_{2}}{\sigma_{2}}\right)^{2}\right]\right} \end{align}$

联合矩母函数由下式给出

为了计算 (2.19) 中的积分，我们注意到，由于

u_{1}^{2} - 2 ρ u_{1} u_{2} + u_{2}^{2} = (1 - ρ^{2}) u_{1}^{2} + {(u_{2} - ρ u_{1})}^{2}

我们可以写成

其中 $ϕ (u) = \frac{1}{\sqrt{2 π}} e^{- 1 / 2 u^{2}}$ 是正态密度函数。利用我们对正态律矩母函数的了解，我们可以对 (2.19) 中积分关于变量 $x_{2}$ 进行积分。我们由此确定 $ψ_{X_{1}, X_{2}} (t_{1}, t_{2})$ 等于

$Missing or unrecognized delimiter for \right\begin{align} \int_{-\infty}^{\infty} dx_{1} \frac{1}{\sigma_{1}} \phi\left(\frac{x_{1}-m_{1}}{\sigma_{1}}\right) & \exp \left(t_{1} x_{1}\right) \exp {\left.t_{2}\left[m_{2}+\frac{\sigma_{2}}{\sigma_{1}} \rho\left(x_{1}-m_{1}\right)\right]\right} \tag{2.21}\ & \times \exp \left[\frac{1}{2} t_{2}^{2} \sigma_{2}^{2}\left(1-\rho^{2}\right)\right] \ &=\exp {\left[\frac{1}{2} t_{2}^{2} \sigma_{2}^{2}\left(1-\rho^{2}\right)+t_{2} m_{2}-t_{2} \frac{\sigma_{2}}{\sigma_{1}} \rho m_{1}\right] } \ & \times \exp \left[m_{1}\left(t_{1}+t_{2} \frac{\sigma_{2}}{\sigma_{1}} \rho\right)+\frac{1}{2} \sigma_{1}^{2}\left(t_{1}+t_{2} \frac{\sigma_{2}}{\sigma_{1}} \rho\right)^{2}\right]. \end{align}$

通过合并 (2.21) 中的项，我们最终得到

(2.22) $ψ_{X_{1}, X_{2}} (t_{1}, t_{2}) = \exp [t_{1} m_{1} + t_{2} m_{2} + \frac{1}{2} (t_{1}^{2} σ_{1}^{2} + 2 ρ σ_{1} σ_{2} t_{1} t_{2} + t_{2}^{2} σ_{2}^{2})]$ 。

协方差由下式给出

因此，如果两个随机变量是联合正态分布的，那么只要知道它们的一阶矩和二阶矩，其联合概率律就完全确定了，因为 $m_{1} = E [X_{1}], m_{2} = E [X_{2}], σ_{1}^{2} = Var [X_{1}], σ_{2}^{2} =$ $Var [X_{2}^{2}], ρ σ_{1} σ_{2} = Cov [X_{1}, X_{2}]$ 。

上述概念可以推广到 $n$ 个联合分布的随机变量 $X_{1}, X_{2}, \dots, X_{n}$ 的情况。对于 $n$ 个实变量的任意博雷尔函数 $g (x_{1}, x_{2}, \dots, x_{n})$ ，随机变量 $g (X_{1}, X_{2}, \dots, X_{n})$ 的期望 $E [g (X_{1}, X_{2}, \dots, X_{n})]$ 可以用 $X_{1}, X_{2}, \dots, X_{n}$ 的联合概率律来表示。

如果 $X_{1}, X_{2}, \dots, X_{n}$ 是联合连续的，具有联合概率密度函数 $f_{X_{1}, X_{2}, \dots, X_{n}} (x_{1}, x_{2}, \dots, x_{n})$ ，则可以证明

如果 $X_{1}, X_{2}, \dots, X_{n}$ 是联合离散的，具有联合概率质量函数 $p_{X_{1}, X_{2}, \dots, X_{n}} (x_{1}, x_{2}, \dots, x_{n})$ ，则可以证明

$对所有使得$

$n$ 个联合分布随机变量的联合矩母函数定义为

还可以证明，如果 $X_{1}, X_{2}, \dots, X_{n}$ 和 $Y$ 是随机变量，使得对于某个 $n$ 个实变量的博雷尔函数 $g_{1} (x_{1}, x_{2}, \dots, x_{n})$ 有 $Y = g_{1} (X_{1}, X_{2}, \dots, X_{n})$ ，那么对于任意一个实变量的博雷尔函数 $g (\cdot)$

理论习题

习题 1.

2.1 . 期望运算的线性性质。设 $X_{1}$ 和 $X_{2}$ 是联合离散随机变量，具有有限均值。证明 (2.7) 成立。

习题 2.

2.2 . 设 $X_{1}$ 和 $X_{2}$ 是联合分布的随机变量，其联合矩母函数的对数由下式给出

其中 $Y$ 是一个具有概率密度函数 $f_{Y} (\cdot)$ 的随机变量， $W_{1} (\cdot)$ 和 $W_{2} (\cdot)$ 是已知函数，且 $v > 0$ 。证明

E [X_{1}] = v E [Y] \int_{- \infty}^{\infty} W_{1} (u) d u, E [X_{2}] = v E [Y] \int_{- \infty}^{\infty} W_{2} (u) d u,

形如 (2.28) 的矩母函数在无线电管散粒噪声现象的数学理论中起着重要作用。

习题 3.

2.3 . 随机电报信号。对于 $t > 0$ ，令 $X (t) = U (- 1)^{N (t)}$ ，其中 $U$ 是一个离散随机变量，使得 $P [U = 1] = P [U = - 1] = \frac{1}{2}$ ， ${N (t), t > 0}$ 是一族随机变量，使得 $N (0) = 0$ ，并且对于任意时刻 $t_{1} < t_{2}$ ，随机变量 $U, N (t_{1})$ 和 $N (t_{2}) - N (t_{1})$ 相互独立。对于任意 $t_{1} < t_{2}$ ，假设 $N (t_{2}) - N (t_{1})$ 服从 (i) 参数为 $λ = v (t_{2} - t_{1})$ 的泊松概率律，(ii) 参数为 $p$ 和 $n = (t_{2} - t_{1})$ 的二项概率律。证明对于任意 $t > 0$ 有 $E [X (t)] = 0$ ，并且对于任意 $t \geq 0, τ \geq 0$

$泊松情况二项情况$

作为时间的随机函数， $X (t)$ 被称为“随机电报信号”。注意：在二项情况下， $t$ 只取整数值。

习题

习题 4.

2.1 . 从一个装有 8 个白球和 4 个黑球的瓮中不放回地抽取一个大小为 5 的有序样本。对于 $j = 1, 2, \dots, 5$ ，令 $X_{j}$ 等于 1 或 0，取决于第 j 次抽到的球是白色还是黑色。求 $E [X_{2}], σ^{2} [X_{2}], Cov [X_{1}, X_{2}], Cov [X_{2}, X_{3}]$ 。

答案

均值， $\frac{2}{3}$ ；方差 $\frac{2}{9}$ ，协方差 $- \frac{2}{90}$ 。

习题 5.

2.2 . 一个瓮中有 12 个球，其中 8 个是白色的，4 个是黑色的。抽取一个球并记下其颜色。然后将抽出的球放回；同时向瓮中加入 2 个与抽出球颜色相同的球。重复此过程直到抽出 5 个球。对于 $j = 1, 2, \dots, 5$ ，令 $X_{j}$ 等于 1 或 0，取决于第 $j$ 次抽到的球是白色还是黑色。求 $E [X_{2}], σ^{2} [X_{2}], Cov [X_{1}, X_{2}]$ 。

习题 6.

2.3 . 设 $X_{1}$ 和 $X_{2}$ 是单位区间上随机选取的 2 个点的坐标。令 $Y = | X_{1} - X_{2} |$ 为两点之间的距离。求 $Y$ 的均值、方差以及三阶和四阶矩。

答案

$f_{Y} (y) = 2 (1 - y)$ 对于 $0 < y < 1; E [Y] = \frac{1}{3}$ ，方差 $[Y] = \frac{1}{18}, E [Y^{3}] = \frac{1}{10}$ ， $E [Y^{4}] = \frac{1}{15}$ 。

习题 7.

2.4 . 设 $X_{1}$ 和 $X_{2}$ 是独立同分布的正态随机变量，均值为 $m$ ，方差为 $σ^{2}$ 。求随机变量 $Y = max (X_{1}, X_{2})$ 的均值。

提示：对于任意实数 $x_{1}$ 和 $x_{2}$ ，证明并利用以下事实： $2 max (x_{1}, x_{2}) = | x_{1} - x_{2} | + x_{1} + x_{2}$ 。

练习 8.

2.5 . 设 $X_{1}$ 和 $X_{2}$ 服从联合正态分布，均值为 0，方差为 1，协方差为 $ρ$ 。求 $E [max (X_{1}, X_{2})]$ 。

答案

$((1 - p) / π)^{1 / 5}$ 。

练习 9.

2.6 . 设 $X_{1}$ 和 $X_{2}$ 具有联合矩生成函数

ψ_{X_{1}, X_{2}} (t_{1}, t_{2}) = a (e^{t_{1} + t_{2}} + 1) + b (e^{t_{1}} + e^{t_{2}}),

其中 $a$ 和 $b$ 是正常数，满足 $2 a + 2 b = 1$ 。求 $E [X_{1}], E [X_{2}], Var [X_{1}], Var [X_{2}], Cov [X_{1}, X_{2}]$ 。

练习 10.

2.7 . 设 $X_{1}$ 和 $X_{2}$ 具有联合矩生成函数

ψ_{X_{1}, X_{2}} (t_{1}, t_{2}) = {[a (e^{t_{1} + t_{2}} + 1) + b (e^{t_{1}} + e^{t_{2}})]}^{2},

其中 $a$ 和 $b$ 是正常数，满足 $2 a + 2 b = 1$ 。求 $E [X_{1}], E [X_{2}], Var [X_{1}], Var [X_{2}], Cov [X_{1}, X_{2}]$ 。

答案

均值，1；方差，0.5；协方差， $2 a - 0.5$ 。

练习 11.

2.8 . 设 $X_{1}$ 和 $X_{2}$ 是联合分布的随机变量，其联合矩生成函数的对数由 (2.28) 给出，其中 $ν = 4, Y$ 在区间 -1 到 1 上均匀分布，且

$若若若若$

其中 $a_{1}, a_{2}$ 是给定的常数，满足 $0 < a_{1} < a_{2}$ 。求 $E [X_{1}]$ ， $E [X_{2}], Var [X_{1}], Var [X_{2}], Cov [X_{1}, X_{2}]$ 。

练习 12.

2.9 . 在假设 $Y$ 服从 $N (1, 2)$ 的条件下，完成练习 2.8。

答案

均值，4；方差，6；协方差， $6 e^{- (a_{2} - a_{1})}$ 。