0%

概率论与数理统计复习:四、随机变量的数字特征

第四章 随机变量的数字特征

自第二章介绍了随机变量这个概念后,我们一直都在学随机变量的一些性质,或者是从随机变量上定义出来的一些概念。这一章依旧如此。我们将继续学习随机变量的数字特征。标题看起来依然那么高级,但实际内容却十分贴近生活。

第一节 数学期望

赌博是一项自古以来就有的活动。由于赌博失败会给社会安定带来影响,我们是不允许进行金额过大的赌博的。

但是,人还是喜欢赌博。为什么呢?赌博,意味着你花少量代价,就可以获得大量的回报。人在想着大量的回报的时候,就会沉浸于幻想中,而完全忽略了赌博失败带来的后果。

参与赌博的人中,有一些人比较聪明。他们为了赚更多的钱,就开始研究赌博的原理。最终,他们创造了概率论。概率论不仅给我们的生活带来了很多启示,为我们提供了便利,还让我们大二学生的学习生活充满了紧张与压力。

扯远了。现在你需要支付50元,你40%的概率可以得到100元,你和不和我赌博呢?

数学家为了研究自己是赚了还是亏了,怎么赚得更多,就开始研究起这种类型的赌博问题。仔细一想,对于上述的赌博,40%的概率,意味着100局大概有40盘左右是赢钱的。玩100局,可以赚到4000元,但要投入5000元玩。所以,这样的赌博极有可能是亏钱的。

100局赚4000元,平均一下1局赚40块钱。这样一个描述你获得的结果的大概值的东西,就叫做数学期望。可以简称期望。随机变量$X$的期望记为$E(X)$。

刚刚赌博成功与失败,其实就是一个0-1分布。如果赌博多次,就是一个二项分布。显然,期望是属于随机变量的。有了随机变量,就有期望。

从刚刚的例子可以看出,我们用概率乘上随机变量的值,似乎就可以算出期望了。期望的计算方法正是如此。对于离散型随机变量,期望就是所有随机变量的值乘上对应概率再求个和,即对于$P\{X = x_k\} = p_k, E(X) = \sum_{k = 1}^{\infty}x_kp_k$。与之对应,对于连续型随机变量,就是概率密度乘值再求积分,即对于概率密度函数$f_X(x), E(X) = \int_{-\infty}^{\infty}xf(x)dx$。当然,期望存在的前提是,求和或者积分是收敛的。

上面两个式子计算起来可能会很熟悉。事实上,我们之前一直都再对概率p做积分或求和。现在只是在前面乘了一个x后再做运算而已。

期望还有一个名字,叫均值。期望的现实意义和平均数很类似,它们都反映了把整体求和再平均分给每一种情况的值。但是,平均值是对于一些样本而言的,而我们算期望只是从理论出发,对一个已知的分布进行计算。后面数理统计会再讲到平均值。

$E(X)$可以看成一个记号,但把它看成一个函数就更加准确了。输入一个随机变量$X$,就可以输出一个期望值$E(X)$。既然这是一个函数,一种运算,那么它就有一些运算的性质。由于期望的定义比较简单,以下性质就直接列出来了:

(1)$E(C) = C$ ($C$为常数) //常数都不是会变的量,在任何时候值都不变
(2)$E(CX) = CE(X)$ //做期望的时候是在做加法,每个数都乘了一个常数的话,这个常数可以作为公因子提出
(3)$E(X+Y) = E(X)+E(Y)$ //期望是加法,中间可以拆开来
(4)$E(XY) = E(X)E(Y) \Longleftarrow XY独立$ //易证

第二节 方差

在某项竞技项目中,可能两个人平均水平相当(或者说整体的水平和相当),但是两个人给人的感觉不同。一个人时而独挑大梁,时而一声不响;另一个人稳稳当当,每次表现得都差不多。我们把前者叫做浪,后者叫做稳。真正厉害的人应该稳重带浪,浪中带稳。看似波澜不惊,时则暗流涌动。

扯远了。上述现象表明,事情除了整体表现的好坏之外,表现是否稳定也是一个重要的评判标准。

怎么衡量这种不稳定呢?试想一下,如果做出一个稳健的人和一个不稳健的人的“表现-比赛场次折线图”,稳健的人的曲线肯定在中间某条线附近略有波动,而不稳健的人的曲线一定陡峭曲折,时上时下。这个不稳定的值和平均表现有关,也与表现的差值有关。

显然,用$X - E(X)$可以得到表现与期望的差值,这个差值可以反映出表现的波动情况。为了消除负数的影响,人们把$E((X - E(X))^2)$定义为方差,也就是每次表现与期望之差的平方,再求一次期望。方差记为$D(X)$。

方差定义的式子十分便于理解:看一看每个数和期望值的差距,把这种差距累加起来,再平均一下。但这个式子并不是很好用。注意到$E((X - E(X))^2) = E(X^2 - 2XE(X) + E^2(X)) = E(X^2) - 2E^2(X) + E^2(X) = E(X^2) - E^2(X)$。这个式子清爽多了。

方差和均值一样,可以看成是一个函数,同样有一堆的性质:

(1)$D(C) = 0$ //不会变的东西哪有不稳定性呢?
(2)$D(CX) = C^2D(X)$ //平方导致的结果
$D(X + C) = D(X)$ //移动一下又不会改变波动的幅度
(3)$D(X + Y) = D(X) + D(Y) + 2(E(XY) - E(X)E(Y))$
证明:

由于XY独立的时候,$E(XY) = E(X)E(Y)$,上式最后一项为0,式子可以简写为$D(X + Y) = D(X) + D(Y)$

$(E(XY) - E(X)E(Y))$这个东西和XY的独立性似乎有关。下一节会用到这个东西,我不得不把这个式子证了一下。

有了期望、方差这两大武器,我们可以挖掘出随机变量的更多信息了。期望反映了一个随机变量整体值的大小,方差反映了值的分散程度。

为了好好试一试这两把武器,我们去挑战一下已经被我们战胜过几个小随机变量。

对于0-1分布$X \sim b(1,p)$:
$E(X) = 0\times(1 - p) + p = p$
$E(X^2) = 0\times(1 - p) + p$
$D(X) = E(X^2) - E^2(X) = p - p^2 = p(1 - p)$

对于二项分布$X \sim b(n, p)$,n次实验都是独立的
$E(X) = \sum_{i = 1}^{n}p = np$
$D(X) = \sum_{i = 1}^{n}p(1 - p) = np(1 - p)$

经过严密的计算后可以得知:
$X \sim \pi(\lambda), D(X) = E(X) = \lambda$
$X$为指数分布,则$E(X) = \theta, D(X) = \theta^2$

如果是$X \sim N(\mu, \sigma^2)$的正态分布,就更容易表示了。$E(X) = \mu, D(X) = \sigma$

我们讲了随机变量的这么多性质,最后还是和概率脱不了干系。如果一个随机变量的方差比较小,那么随便取一个数,这个数离平均值比较远的概率就会更小。严谨地说,通过方差的概念,有以下不等式,被称为切比雪夫不等式:

$P\{|X - \mu|>\epsilon\} \leq \frac{\sigma^2}{\epsilon^2}$

反着写也是一样的:

$P\{|X - \mu|\leq\epsilon\} \geq 1 - \frac{\sigma^2}{\epsilon^2}$

第三节 协方差与相关系数

上一节我们就注意到,$(E(XY) - E(X)E(Y))$这个式子不太对劲,它似乎和XY变量的独立性有关。把它做一些数学上的变换,可以得到$(E(XY) - E(X)E(Y)) = E((X - E(X))(Y - E(Y)))$,后面这个式子和方差的式子长得非常像。为了节约取名时间,人们把它叫做协方差,记为$Cov(X,Y)$。

协方差又有一堆性质:
(1)$Cov(aX,bY) = abCov(X,Y)$
(2)$Cov(X_1 + X_2, Y) = Cov(X_1, Y) + Cov(X_2, Y)$
同样,由观察很容易得知,$Cov(X,X) = D(X)$,一个随机变量和自己的协方差就是自己的方差。

协方差和独立性有关,但是不同数的协方差有大有小啊!独立性应该描述的是两个随机变量之间的关系,但我只要稍微乘一下其中一个变量,协方差的值就会改变(见性质1)。有没有一个专门用来表达和独立性有关的量呢?

可以发现,$0\leq \frac{Cov(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\leq 1$恒成立,那我们就用$\rho_{xy} =\frac{Cov(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$这个量好了!$\rho_{xy}$叫作相关系数

两个随机变量独立,则相关系数为0;相关系数为0,但两个随机变量不一定独立。因为相关系数比独立性的范畴要小,它只反映了两个变量线性上的相关性。

第四节 矩、协方差矩阵

定义$E(X^k)$为k阶原点矩
定义$E((X - E(X))^k)$为k阶中心矩
定义$E((X - E(X))^k(Y - E(Y))^l)为$k+l阶混合中心矩

可以看到,期望是1阶原点矩,方差是2阶中心矩,协方差是2阶混合中心矩.

定义…………………………………………………………为协方差矩阵

说实话,这一小节就是一堆定义,而且只是原来某些定义的拓展而已。我暂时不知道这些东西算出来有什么用,老师上课时也是一笔带过。这一小节就过了吧。

本章总结

这一章我们学习了期望与方差——我们生活中评价随机变量的两个标准的严格数学定义。用了它们,我们就可以更好地生活,更好地判断赌博是亏了还是赚了,更好地在别人面前吹牛,可谓是一举多得。

本章的重点,一是方差和期望的计算。这个计算本质上就是一个简单的积分,可以看成是对一元简单积分的复习。二是期望和方差的一些运算性质。这些运算性质会在题目和后面的学习里被广泛用到。