Conditional Expectation
Conditional Expectation Given an Event
令 \(A\) 是一个概率为正的事件，\(Y\) 是一个离散随机变量，那么在 \(A\) 的条件下 \(Y\) 的条件期望是 $$ E(Y|A)=\sum_y yP(Y=y|A) $$ 求和的范围是 \(Y\) 的支撑集
如果 \(Y\) 是 PDF 为 \(f\) 的连续随机变量，那么 $$ E(Y|A)=\int_{-\infty}^{\infty}yf(y|A)dy $$
条件 PDF \(f(y|A)\) 可以通过对 CDF \(F(y|A)=P(Y\le y|A)\) 求导得到，也可以使用混合贝叶斯公式 $$ f(y|A)=\frac{P(A|Y=y)f(y)}{P(A)} $$
模拟近似条件期望
我们通过模拟的方式来近似 \(E(Y|A)\)。进行 \(n\) 次重复实验可以得到一系列 \(Y\) 的值 \(y_1,y_2,\cdots,y_n\)，可以将 \(E(Y)\) 近似为 $$ E(Y)\approx\frac{1}{n}\sum_{j=1}^n y_j $$ 接下来，我们只看 \(A\) 发生的重复实验，并且只对这些 \(Y\) 值取平均，那么 $$ E(Y|A)\approx\frac{\sum_{j=1}^n y_jI_j}{\sum_{j=1}^n I_j} $$ 其中 \(I_j\) 是在第 \(j\) 次实验中事件 \(A\) 是否发生的指示随机变量
混淆条件期望与无条件期望是很严重的错误，需要仔细区分哪些量被条件化、哪些量没有
定理：全期望公式
令 \(A_1,A_2,\cdots,A_n\) 是样本空间的一个划分，并且对于所有 \(i\) 都有 \(P(A_i)>0\) ，\(Y\) 是这个样本空间上的一个随机变量，那么
$$
E(Y)=\sum_{i=1}^n E(Y|A_i)P(A_i)
$$
全概率公式是全期望公式的一个特殊情况：令 \(Y=I_B\) 为事件 \(B\) 的指示随机变量，将其代入上式即可得到 $$ P(B)=E(I_B)=\sum_{i=1}^nE(I_B|A_i)P(A_i)=\sum_{i=1}^nP(B|A_i)P(A_i) $$
Conditional Expectation Given an r.v.
令 \(g(x)=E(Y|X=x)\) ，那么在给定 \(X\) 的条件下 \(Y\) 的条件期望定义为随机变量 \(g(X)\) ，记为 \(E(Y|X)\) 。注意 \(E(Y|X)\) 是 \(X\) 的函数，是一个随机变量而不是一个常数
一旦观察到 \(X=x\) ，\(E(Y|X)\) 就取值为 \(g(x)\)
我们可以在找到函数 \(g(x)\) 的表达式后，将 \(x\) 替换为 \(X\) ，从而求出 \(E(Y|X)\)
Properties of Conditional Expectation
定理：去掉独立的项
如果 \(X\) 和 \(Y\) 是独立的，那么 \(E(Y|X)=E(Y)\)
其逆命题不成立：\(E(Y|X)=E(Y)\) 并不能推出 \(X\) 与 \(Y\) 独立
定理：提出已知量 (Taking out what's known)
对于任意函数 \(h\)
$$
E(h(X)Y|X)=h(X)E(Y|X)
$$
定理：线性
$$
E(Y_1+Y_2|X)=E(Y_1|X)+E(Y_2|X)
$$
定理：Adam's 定律
对于任意随机变量 \(X\) 和 \(Y\)
$$
E(E(Y|X))=E(Y)
$$
证明
我们只证明 \(X\) 和 \(Y\) 都是离散的情况，其他情况与之类似。令 \(E(Y|X)=g(X)\) $$ \begin{aligned} E(g(X))&=\sum_x g(x)P(X=x) \\ &=\sum_x \left(\sum_y yP(Y=y|X=x)\right)P(X=x) \\ &=\sum_x\sum_y yP(X=x)P(Y=y|X=x) \\ &=\sum_y y\sum_xP(X=x,Y=y) \\ &=\sum_y yP(Y=y) \\ &=E(Y) \end{aligned} $$
借助 Adam's 定律，可以选取一个合适的随机变量 \(X\) 进行条件化：先将 \(X\) 视为已知量求出 \(E(Y|X)\)，再对 \(E(Y|X)\) 求期望，进而得到 \(E(Y)\)
与贝叶斯定理和全概率公式类似，Adam's 定律也可以有额外的条件
定理：带有额外条件的 Adam's 定律
对于任意随机变量 \(X,Y,Z\)
$$
E(E(Y|X,Z)|Z)=E(Y|Z)
$$
定理：投影
对于任意函数 \(h\) ，随机变量 \(Y-E(Y|X)\) 与 \(h(X)\) 不相关，即
$$
E((Y-E(Y|X)h(X))=0
$$