Expectation
Definition of Expectation
支撑为\(x_1,x_2,\cdots\)的离散随机变量\(X\)的期望(expectation)定义为 $$ E(X)=\sum_{j=1}^{\infty}x_jP(X=x_j) $$ 如果支撑是无限的，那么期望也可以定义为 $$ E(X)=\sum_{x}xP(X=x) $$
如果\(\sum^{j=1}_{\infty}|x_j|P(X=x_j)\)发散，那么期望无定义
期望可以看作权重为概率的加权平均数，期望是一个数字
命题： 如果离散随机变量\(X\)和\(Y\)有相同的分布，那么\(E(X)=E(Y)\)
上面的命题的反命题不成立，即期望相同不代表分布相同。因为期望只是对分布的一个数字的总结，不能完全表示整个分布。
符号约定
可以将\(E(X)\)缩写为\(EX\)，与之类似，\(E(X^2)\)可以缩写为\(EX^2\)，\(E(X^n)\)可以缩写为\(EX^n\)
如果没有没有用括号特别指明，那么期望的次数首先加在随机变量上，然后才加在期望上
例如：\(E(X-1)^4\)表示\(E((X-1)^4)\)而不是\((E(X-1))^4\)
Linearity of Expectation
线性(linearity)是期望最重要的性质
定理 ： 对于随机变量\(X\)和\(Y\)以及常数\(c\) $$ \begin{aligned} E(X+Y)&=E(X)+E(Y) \\ E(cX)&=cE(X) \end{aligned} $$
期望的线性不要求两个随机变量具有独立性
命题:
假设随机变量\(X\)和\(Y\)恒满足\(X\ge Y\)(概率为1),那么\(E(X)\ge E(Y)\)恒成立，当且仅当 \(X=Y\) 时取等
证明
构造一个随机变量\(Z=X-Y\)，当\(X\ge Y\)时，\(Z\ge0\)，那么\(E(Z)\ge0\) 根据随机变量的线性 $$ E(Z)=E(X-Y)=E(X)-E(Y)\ge0 $$ 即\(E(X)\ge E(Y)\) 当\(X=Y\)时，\(E(X)=E(Y)\)
Geometric and Negative Binomial
Geometric
对于一系列独立的伯努利试验，每个试验的成功概率均为\(p\in(0, 1)\)，当第一次出现成功时停止试验。令随机变量\(X\)为第一次成功前失败的次数，那么\(X\)服从参数为\(p\)的几何分布(geometric distribution)，记为\(X\sim\text{Geom}(p)\)
如果\(X\sim\text{Geom}(p)\),那么\(X\)的 PMF 为 $$ P(X=k)=q^kp $$ 其中\(k=0,1,2,\cdots\),\(q=1-p\)
如果\(X\sim\text{Geom}(p)\),那么\(X\)的 CDF 为 $$ F(x)= \begin{cases} 1-q^{\lfloor x\rfloor+1},\text{if }x\ge0 \\ 0,\text{if }x<0 \end{cases} $$ 其中\(q=1-p\)
这里的几何分布不包括最后成功的那一次试验，下面介绍的 First Success 是包含最后一次成功的
对于一系列独立的伯努利试验，每个试验的成功概率均为\(p\in(0, 1)\)，当第一次出现成功时停止试验。令随机变量\(Y\)为第一次成功前失败的次数，包括最后一次成功的试验，那么\(Y\)服从参数为\(p\)的 First Success，记为\(Y\sim\text{FS}(p)\)
如果\(Y\sim\text{FS}(p)\)，那么 \(Y-1\sim\text{Geom}(p)\),可以用下面的公式转换 PMF $$ P(Y=k)=P(Y-1=k-1) $$ 同样的，如果\(X\sim\text{Geom}(p)\),那么\(X+1\sim\text{FS}(p)\)
Negative Binomial
对于一系列独立的伯努利试验，每个试验的成功概率均为\(p\in(0, 1)\)，令随机变量\(X\)为第\(r\)次成功前失败的次数，那么\(X\)服从参数为\(p\)和\(r\)的负二项分布(negative binomial distribution)，记为\(X\sim\text{NBin}(r, p)\)
如果\(X\sim\text{NBin}(r, p)\),那么\(X\)的 PMF 为 $$ P(X=k)=\binom{k+r-1}{r-1}p^{r}q^{k} $$ 其中\(k=0,1,2,\cdots\),\(q=1-p\)
如果\(g(x)\)不是线性函数，那么\(E(g(X))\ne g(E(X))\)
Indicator r.v.s and the Fundamental Bridge
前面已经介绍了指示随机变量的概念，这一节将继续探索指示随机变量的性质
定理:
对于事件 \(A\)和\(B\),其指示随机变量满足以下性质
- 对任意正整数\(k, (I_A)^k=I_A\)
- \(I_{A^c}=1-I_A\)
- \(I_{A\cap B}=I_AI_B\)
- \(I_{A\cup B}=I_A+I_B-I_AI_B\)
指示随机变量可以将概率与期望联系起来，称之为 基础桥梁(fundamental bridge)
事件和指示随机变量之间存在一一对应关系，并且事件\(A\)的概率是指示随机变量\(I_A\)的期望，即
$$
P(A)=E(I_A)
$$
上面的这个关系让我们可以用期望表示任意的概率
Negative Hypergeometric
从一个包含\(w\)个白球和\(b\)个黑球的盒子中不放回的拿球，拿到\(r\)个白球是停止试验。设随机变量\(X\)为拿出第\(r\)个白球前拿出的黑球数量，那么\(X\)服从负超几何分布(negative hypergeometric distribution)，记为\(X\sim\text{NHGeom}(w, b, r)\)
\(X=k\)意味着在前\(r+k-1\)个球中，有\(r-1\)个白球；而在后\(w+b-k-r\)个球中，有\(w-r\)个白球(第\(r\)个球一定为白球)。而白球可能位置的总数为\(\dbinom{w+b}{w}\).
因此，根据概率的定义，可以得到负超几何分布的 PMF
$$
P(X=k)=\frac{\binom{r+k-1}{r-1}\binom{w+b-k-r}{w-r}}{\binom{w+b}{w}}
$$
现在已经了解了四种离散随机变量的分布，它们的关系如下表
| 放回 | 不放回 | |
|---|---|---|
| 试验次数固定 | 二项分布 | 超几何分布 |
| 成功次数固定 | 负二项分布 | 负超几何分布 |
定理
假设\(X\)为非负的整数值随机变量，\(F\)为\(X\)的 CDF ，那么\(X\)的生存函数\(G\)定义为 \(G(x)=1-F(x)=P(X>x)\)
$$
E(X)=\sum_{n=0}^{\infty}G(n)
$$
证明
可以将\(X\)表示为一系列指示随机变量相加，即\(X=I_1+I_2+\cdots+I_b\)，其中\(I_n=I(X\ge n)\)，对于离散随机变量，\(P(X\ge n)\) 和 \(P(X>n-1)\) 是相同的。根据期望的线性性质可以得到 $$ E(X)=\sum_{k=1}^{b}P(X\ge k)=\sum_{n=0}^{b-1}P(X> n)=\sum_{n=0}^{\infty}P(X>n)=\sum_{n=0}^{\infty}G(n) $$
Law of the Unconscious Statistician (LOTUS)
如果\(g(x)\)不是线性函数，那么通常情况下\(g(E(X))\ne E(g(X))\).而 LOTUS 是一种不需要求出\(g(X)\)的分布，直接使用\(X\)的分布便可以得到 \(E(g(x))\)的方法
定理 (LOTUS)
假设\(X\)是一个离散随机变量，\(g\)是一个\(\mathbb{R}\to\mathbb{R}\)的函数，那么
$$
E(g(X))=\sum_{x}g(x)P(X=x)
$$
证明
计算期望的方法
将随机变量\(X\)表示为一系列指示随机变量相加，然后再利用期望的线性性质和基础桥梁计算期望
- 将\(X\)表示为一系列指示随机变量相加，指示随机变量一般选择\(X\)所取的值作为指标
- 使用基础桥梁，计算每一个指示随机变量的期望，对称性在这一阶段非常重要，可以简化计算过程
- 使用期望的线性性质，计算\(E(g(X))\)的期望
Variance
LOTUS 的一个重要应用是寻找随机变量的方差(variance)，与期望一样，方差也是随机变量的的单个数字总结。不同之处在于，期望反应的是分布的中心，而方差则是表示分布有多分散
随机变量\(X\)的方差是 $$ Var(x)=E(X-EX)^2 $$ 方差的平方根被称为标准差(standard deviation) $$ SD(x)=\sqrt{Var(X)} $$
定理
计算方差还有一个等价的式子是
$$
Var(X)=E(X^2)-(EX)^2
$$
这个式子在实际计算中更常用
证明
令\(\mu=EX\),将\((X-\mu)^2\)展开后利用线性得到 $$ E(X-\mu)^2=E(X^2)-2\mu EX+\mu^2=E(X^2)-\mu $$
下面来看方差的几个性质
- 对于任意常数\(c\), \(Var(X+c)=Var(X)\)
- 对于任意常数\(c\), \(Var(cX)=c^2Var(X)\)
- 如果 \(X\)和 \(Y\)是独立的，\(Var(X+Y)=Var(X)+Var(Y)\)
- \(Var(X)\ge0\),当且仅当\(P(X=a)=1\)时等号成立
Poisson
如果随机变量\(X\)服从参数为\(\lambda\)的泊松分布(Poisson distribution)，那么\(X\)的 PMF 为 $$ P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!},k=0,1,2,\cdots $$ 记为\(X\sim\text{Pois}(\lambda)\)
泊松分布的期望和方差
如果随机变量\(X\sim\text{Pois}(\lambda)\)，那么\(E(X)=\lambda\)和\(Var(X)=\lambda\)
证明
根据期望的定义 $$ E(X)=\sum_{k=0}^{\infty}k\frac{e^{-\lambda}\lambda^k}{k!} $$ 利用泰勒级数\(e^x=\sum_{n=0}^{\infty}\frac{x^n}{n!}\) $$ \begin{aligned} E(X) &= e^{-\lambda}\sum_{k=1}^{\infty}\frac{\lambda^k}{(k-1)!} \\ &= e^{-\lambda}\sum_{j=0}^{\infty}\frac{\lambda^{j+1}}{j!} \\ &= \lambda e^{-\lambda}\sum_{j=0}^{\infty}\frac{\lambda^{j}}{j!} \\ &= \lambda e^{-\lambda}e^{\lambda} \\ &= \lambda \end{aligned} $$
根据方差的定义 $$ Var(X)=E(X^2)-(EX)^2 $$ 其中\(E(X^2)\)可以通过 LOTUS 得到 $$ E(X^2)=\sum_{k=0}^{\infty}k^2\frac{e^{-\lambda}\lambda^k}{k!} $$ 利用泰勒级数\(e^\lambda=\sum_{k=0}^{\infty}\frac{\lambda^k}{k!}\),两边求导并乘\(\lambda\)得到 $$ \sum_{k=0}^{\infty}\frac{k\lambda^{k}}{k!}=\lambda e^\lambda $$ 对上面的式子再求导并乘\(\lambda\)得到 $$ \sum_{k=0}^{\infty}\frac{k^2\lambda^{k}}{k!}=(\lambda+\lambda^2)e^\lambda $$ 将结果带入\(E(X^2)\)得到\(E(X^2)=\lambda+\lambda^2\) 因此 $$ Var(X)=\lambda+\lambda^2-\lambda^2=\lambda $$
泊松分布常用于描述单位时间内的事件发生次数，特别是当事件发生概率较小且事件发生次数较多时。\(\lambda\)表示这些稀有事件的发生率
Connection between Poisson and Binomial
泊松分布与二项分布有着相等紧密的联系，可以通过给泊松分布增加条件得到二项分布；也可以通过给二项分布取极限得到泊松分布
定理
如果\(X\sim\text{Pois}(\lambda_1)\),\(Y\sim\text{Pois}(\lambda_2)\),那么 \(X+Y\sim\text{Pois}(\lambda_1+\lambda_2)\)
证明
为了求\(X+Y\)的 PMF，可以将 \(X\)作为条件并使用全概率公式 $$ \begin{aligned} P(X+Y=k)&=\sum_{j=0}^kP(X+Y=k|X=j)P(X=j)\\ &=\sum_{j=0}^kP(Y=k-j)P(X=j) \\ &=\sum_{j=0}^k\frac{e^{-\lambda_2}\lambda_2^{k-j}}{(k-j)!}\frac{e^{-\lambda_1}\lambda_1^j}{j!} \\ &=\frac{e^{-(\lambda_1+\lambda_2)}}{k!}\sum_{j=0}^k\binom{k}{j}\lambda_1^{j}\lambda_2^{k-j} \\ &=\frac{e^{-(\lambda_1+\lambda_2)}(\lambda_1+\lambda_2)^k}{k!} \end{aligned} $$
定理
如果如果\(X\sim\text{Pois}(\lambda_1)\),\(Y\sim\text{Pois}(\lambda_2)\),并且\(X\)和\(Y\)独立，那么在\(X+Y=n\)的条件下\(X\)的分布为\(\text{Bin}(n, \lambda_1/(\lambda_1+\lambda_2))\)
定理
如果\(X\sim\text{Bin}(n,p)\)，在保持\(\lambda=np\)不变的情况下，当\(n\to\infty, p\to0\)时，X的PMF会变为\(\text{Pois}(\lambda)\)
Conclusion of Discrete Distributions
Expectance of Discrete Distributions
伯努利分布的期望
如果随机变量\(X\sim\text{Bern}(p)\),那么\(E(X)=p\)
证明
根据期望的定义 $$ E(X)=1p+0q=p $$
二项分布的期望
如果随机变量\(X\sim\text{Bin}(n, p)\),那么\(E(X)=np\)
证明
根据期望的定义 $$ E(X)=\sum_{k=0}^n k P(X=k)=\sum^{n}_{k=0}k\binom{n}{k}p^kq^{n-k} $$
将 \(k\dbinom{n}{k}=n\dbinom{n-1}{k-1}\) 带入上式中得到 $$ \begin{aligned} E(X) &= n\sum_{k=1}^{n}\binom{n-1}{k-1}p^{k}q^{n-k} \\ &= np\sum_{k=1}^{n}\binom{n-1}{k-1}p^{k-1}q^{n-k} \\ &= np\sum_{j=0}^{n-1}\binom{n-1}{j}p^{j}q^{n-1-j} \\ &= np(p+q)^{n-1} \\ &= np \end{aligned} $$
将\(X\)看作是一系列的伯努利试验，即 $$ X=I_1+I_2+\cdots+I_n $$ 其中\(E(I_j)=p\)，利用期望的线性可以得到 $$ E(X)=E(I_1)+E(I_2)+\cdots+E(I_n)=np $$
超几何分布的期望
如果随机变量\(X\sim\text{HGeom}(w, b, n)\),那么\(E(X)=n\dfrac{w}{w+b}\)
证明
将\(X\)看作是一系列的伯努利试验，即 $$ X=I_1+I_2+\cdots+I_n $$ 其中\(E(I_j)=w/(w+b)\)，利用期望的线性可以得到 $$ E(X)=E(I_1)+E(I_2)+\cdots+E(I_n)=n\frac{w}{w+b} $$
虽然 \(I_j\)之间不是独立的，但线性与是否独立无关
几何分布的期望
如果随机变量\(X\sim\text{Geom}(p)\),那么\(E(X)=q/p\),\(q=1-p\)
证明
根据期望的定义 $$ E(X)=\sum_{k=0}^{\infty}kq^{k}p $$ 上面的式子看起来像\(kq^{k-1}\),因此，可以对几何级数逐项求导得到 $$ \sum^{\infty}_{k=0}kq^{k-1}=\frac{1}{(1-q)^2} $$
最后，给求导后的式子两边乘\(pq\)即可得到 $$ E(X)=\sum_{k=0}^{\infty}kq^{k}p=\frac{pq}{(1-q)^2}=\frac qp $$
根据几何分布的定义，事件\(\{X>n\}\)是前\(n+1\)次试验全部失败，因此 $$ E(X)=\sum_{n=0}^{\infty}P(X>n)=\sum^{\infty}_{n=0}q^{n+1}=\frac{q}{1-q}=\frac{q}{p} $$
First Success 的期望
如果随机变量\(Y\sim\text{FS}(p)\),那么\(E(Y)=1/p\)
证明
因为 \(Y=X+1\),因此 $$ E(Y)=E(X+1)=E(X)+1=\frac qp+1=\frac1p $$
负二项分布的期望
如果随机变量\(X\sim\text{NBin}(r, p)\),那么\(E(X)=rq/p\)
证明
将\(X\)看作是一系列的独立同分布随机变量\(X_j\sim\text{Geom}(p)\),那么\(X=X_1+X_2+\cdots+X_r\),根据期望的线性 $$ E(X)=E(X_1)+E(X_2)+\cdots+E(X_r)=r\frac{q}{p} $$
负超几何分布的期望
如果随机变量\(X\sim\text{NHGEom}(w, b , r)\)，那么\(E(X)=rb/(w+1)\)
证明
将\(X\)看作是一系列的伯努利试验，即 $$ X=I_1+I_2+\cdots+I_r $$ 其中\(E(I_j)=w/(w+b)\)，利用期望的线性可以得到 $$ E(X)=E(I_1)+E(I_2)+\cdots+E(I_r)=rb/(w+1) $$
Variance of Discrete Distributions
几何分布的方差
如果随机变量\(X\sim\text{Geom}(p)\)，那么\(Var(X)=\dfrac{q}{p^2}\)
负二项分布的方差
如果随机变量\(X\sim\text{NBin}(r, p)\)，那么\(Var(X)=r\dfrac{q}{p^2}\)
二项分布的方差
如果随机变量\(X\sim\text{Bin}(n, p)\)，那么\(Var(X)=np(1-p)\)
超几何分布的方差
如果随机变量\(X\sim\text{HGeom}(w, b, n)\)，那么\(Var(X)=n\dfrac{w}{w+b} \dfrac{b}{w+b} \dfrac{w+b-n}{w+b-1}\)
最后将所有分布的期望和方差总结如下：
| 分布 | 期望 \(E(X)\) | 方差 \(Var(X)\) |
|---|---|---|
| 伯努利分布 \(\text{Bern}(p)\) | \(p\) | \(p(1-p)\) |
| 二项分布 \(\text{Bin}(n, p)\) | \(np\) | \(np(1-p)\) |
| 超几何分布 \(\text{HGeom}(w, b, n)\) | \(n \frac{w}{w+b}\) | \(n \dfrac{w}{w+b} \dfrac{b}{w+b} \dfrac{w+b-n}{w+b-1}\) |
| 几何分布 \(\text{Geom}(p)\) | \(\dfrac{q}{p}\) | \(\dfrac{q}{p^2}\) |
| First Success \(\text{FS}(p)\) | \(\dfrac{1}{p}\) | \(\dfrac{q}{p^2}\) |
| 负二项分布 \(\text{NBin}(r, p)\) | \(r \dfrac{q}{p}\) | \(r \dfrac{q}{p^2}\) |
| 负超几何分布 \(\text{NHGeom}(w, b, r)\) | \(\dfrac{rb}{w+1}\) | \(\dfrac{rb(w+b+1)(w+1-r)}{(w+1)^2(w+2)}\) |
| 泊松分布 \(\text{Pois}(\lambda)\) | \(\lambda\) | \(\lambda\) |