第四章 随机变量的数字特征
自第二章介绍了随机变量这个概念后，我们一直都在学随机变量的一些性质，或者是从随机变量上定义出来的一些概念。这一章依旧如此。我们将继续学习随机变量的数字特征。标题看起来依然那么高级，但实际内容却十分贴近生活。
第一节 数学期望
赌博是一项自古以来就有的活动。由于赌博失败会给社会安定带来影响，我们是不允许进行金额过大的赌博的。
但是，人还是喜欢赌博。为什么呢？赌博，意味着你花少量代价，就可以获得大量的回报。人在想着大量的回报的时候，就会沉浸于幻想中，而完全忽略了赌博失败带来的后果。
参与赌博的人中，有一些人比较聪明。他们为了赚更多的钱，就开始研究赌博的原理。最终，他们创造了概率论。概率论不仅给我们的生活带来了很多启示，为我们提供了便利，还让我们大二学生的学习生活充满了紧张与压力。
扯远了。现在你需要支付50元，你40%的概率可以得到100元，你和不和我赌博呢？
数学家为了研究自己是赚了还是亏了，怎么赚得更多，就开始研究起这种类型的赌博问题。仔细一想，对于上述的赌博，40%的概率，意味着100局大概有40盘左右是赢钱的。玩100局，可以赚到4000元，但要投入5000元玩。所以，这样的赌博极有可能是亏钱的。
100局赚4000元，平均一下1局赚40块钱。这样一个描述你获得的结果的大概值的东西，就叫做数学期望。可以简称期望。随机变量$X$的期望记为$E(X)$。
刚刚赌博成功与失败，其实就是一个0-1分布。如果赌博多次，就是一个二项分布。显然，期望是属于随机变量的。有了随机变量，就有期望。
从刚刚的例子可以看出，我们用概率乘上随机变量的值，似乎就可以算出期望了。期望的计算方法正是如此。对于离散型随机变量，期望就是所有随机变量的值乘上对应概率再求个和，即对于$P\{X = x_k\} = p_k, E(X) = \sum_{k = 1}^{\infty}x_kp_k$。与之对应，对于连续型随机变量，就是概率密度乘值再求积分，即对于概率密度函数$f_X(x), E(X) = \int_{-\infty}^{\infty}xf(x)dx$。当然，期望存在的前提是，求和或者积分是收敛的。
上面两个式子计算起来可能会很熟悉。事实上，我们之前一直都再对概率p做积分或求和。现在只是在前面乘了一个x后再做运算而已。
期望还有一个名字，叫均值。期望的现实意义和平均数很类似，它们都反映了把整体求和再平均分给每一种情况的值。但是，平均值是对于一些样本而言的，而我们算期望只是从理论出发，对一个已知的分布进行计算。后面数理统计会再讲到平均值。
$E(X)$可以看成一个记号，但把它看成一个函数就更加准确了。输入一个随机变量$X$，就可以输出一个期望值$E(X)$。既然这是一个函数，一种运算，那么它就有一些运算的性质。由于期望的定义比较简单，以下性质就直接列出来了：
(1)$E(C) = C$ ($C$为常数) //常数都不是会变的量，在任何时候值都不变
(2)$E(CX) = CE(X)$ //做期望的时候是在做加法，每个数都乘了一个常数的话，这个常数可以作为公因子提出
(3)$E(X+Y) = E(X)+E(Y)$ //期望是加法，中间可以拆开来
(4)$E(XY) = E(X)E(Y) \Longleftarrow XY独立$ //易证
第二节 方差
在某项竞技项目中，可能两个人平均水平相当（或者说整体的水平和相当），但是两个人给人的感觉不同。一个人时而独挑大梁，时而一声不响；另一个人稳稳当当，每次表现得都差不多。我们把前者叫做浪，后者叫做稳。真正厉害的人应该稳重带浪，浪中带稳。看似波澜不惊，时则暗流涌动。
扯远了。上述现象表明，事情除了整体表现的好坏之外，表现是否稳定也是一个重要的评判标准。
怎么衡量这种不稳定呢？试想一下，如果做出一个稳健的人和一个不稳健的人的“表现-比赛场次折线图”，稳健的人的曲线肯定在中间某条线附近略有波动，而不稳健的人的曲线一定陡峭曲折，时上时下。这个不稳定的值和平均表现有关，也与表现的差值有关。
显然，用$X - E(X)$可以得到表现与期望的差值,这个差值可以反映出表现的波动情况。为了消除负数的影响，人们把$E((X - E(X))^2)$定义为方差，也就是每次表现与期望之差的平方，再求一次期望。方差记为$D(X)$。
方差定义的式子十分便于理解：看一看每个数和期望值的差距，把这种差距累加起来，再平均一下。但这个式子并不是很好用。注意到$E((X - E(X))^2) = E(X^2 - 2XE(X) + E^2(X)) = E(X^2) - 2E^2(X) + E^2(X) = E(X^2) - E^2(X)$。这个式子清爽多了。
方差和均值一样，可以看成是一个函数，同样有一堆的性质：
(1)$D(C) = 0$ //不会变的东西哪有不稳定性呢？
(2)$D(CX) = C^2D(X)$ //平方导致的结果
$D(X + C) = D(X)$ //移动一下又不会改变波动的幅度
(3)$D(X + Y) = D(X) + D(Y) + 2(E(XY) - E(X)E(Y))$
证明：
由于XY独立的时候，$E(XY) = E(X)E(Y)$，上式最后一项为0，式子可以简写为$D(X + Y) = D(X) + D(Y)$
$(E(XY) - E(X)E(Y))$这个东西和XY的独立性似乎有关。下一节会用到这个东西，我不得不把这个式子证了一下。
有了期望、方差这两大武器，我们可以挖掘出随机变量的更多信息了。期望反映了一个随机变量整体值的大小，方差反映了值的分散程度。
为了好好试一试这两把武器，我们去挑战一下已经被我们战胜过几个小随机变量。
对于0-1分布$X \sim b(1,p)$：
$E(X) = 0\times(1 - p) + p = p$
$E(X^2) = 0\times(1 - p) + p$
$D(X) = E(X^2) - E^2(X) = p - p^2 = p(1 - p)$
对于二项分布$X \sim b(n, p)$，n次实验都是独立的
$E(X) = \sum_{i = 1}^{n}p = np$
$D(X) = \sum_{i = 1}^{n}p(1 - p) = np(1 - p)$
经过严密的计算后可以得知：
$X \sim \pi(\lambda), D(X) = E(X) = \lambda$
$X$为指数分布，则$E(X) = \theta, D(X) = \theta^2$
如果是$X \sim N(\mu, \sigma^2)$的正态分布，就更容易表示了。$E(X) = \mu, D(X) = \sigma$
我们讲了随机变量的这么多性质，最后还是和概率脱不了干系。如果一个随机变量的方差比较小，那么随便取一个数，这个数离平均值比较远的概率就会更小。严谨地说，通过方差的概念，有以下不等式，被称为切比雪夫不等式：
$P\{|X - \mu|>\epsilon\} \leq \frac{\sigma^2}{\epsilon^2}$
反着写也是一样的：
$P\{|X - \mu|\leq\epsilon\} \geq 1 - \frac{\sigma^2}{\epsilon^2}$
第三节 协方差与相关系数
上一节我们就注意到，$(E(XY) - E(X)E(Y))$这个式子不太对劲，它似乎和XY变量的独立性有关。把它做一些数学上的变换，可以得到$(E(XY) - E(X)E(Y)) = E((X - E(X))(Y - E(Y)))$，后面这个式子和方差的式子长得非常像。为了节约取名时间，人们把它叫做协方差，记为$Cov(X,Y)$。
协方差又有一堆性质：
(1)$Cov(aX,bY) = abCov(X,Y)$
(2)$Cov(X_1 + X_2, Y) = Cov(X_1, Y) + Cov(X_2, Y)$
同样，由观察很容易得知,$Cov(X,X) = D(X)$，一个随机变量和自己的协方差就是自己的方差。
协方差和独立性有关，但是不同数的协方差有大有小啊！独立性应该描述的是两个随机变量之间的关系，但我只要稍微乘一下其中一个变量，协方差的值就会改变(见性质1)。有没有一个专门用来表达和独立性有关的量呢？
可以发现,$0\leq \frac{Cov(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\leq 1$恒成立，那我们就用$\rho_{xy} =\frac{Cov(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$这个量好了！$\rho_{xy}$叫作相关系数。
两个随机变量独立，则相关系数为0；相关系数为0，但两个随机变量不一定独立。因为相关系数比独立性的范畴要小，它只反映了两个变量线性上的相关性。
第四节 矩、协方差矩阵
定义$E(X^k)$为k阶原点矩
定义$E((X - E(X))^k)$为k阶中心矩
定义$E((X - E(X))^k(Y - E(Y))^l)为$k+l阶混合中心矩
可以看到，期望是1阶原点矩，方差是2阶中心矩，协方差是2阶混合中心矩.
定义…………………………………………………………为协方差矩阵
说实话，这一小节就是一堆定义，而且只是原来某些定义的拓展而已。我暂时不知道这些东西算出来有什么用，老师上课时也是一笔带过。这一小节就过了吧。
本章总结
这一章我们学习了期望与方差——我们生活中评价随机变量的两个标准的严格数学定义。用了它们，我们就可以更好地生活，更好地判断赌博是亏了还是赚了，更好地在别人面前吹牛，可谓是一举多得。
本章的重点，一是方差和期望的计算。这个计算本质上就是一个简单的积分，可以看成是对一元简单积分的复习。二是期望和方差的一些运算性质。这些运算性质会在题目和后面的学习里被广泛用到。