条件期望\(\newcommand{\E}{\mathbb{E}}\newcommand{\F}{\mathcal{F}}\)
对于随机变量\(Y\)和事件\(B\)，我们定义\(Y\)关于\(B\)条件期望为\(\E[Y\mid B]=\dfrac{\E[Y \cdot \mathbb{1}_B]}{P(B)}\)，直观理解为在已知\(Y\)发生时\(X\)的平均取值。现在我们希望定义一个随机变量\(Y\)关于另一个随机变量\(X\)的条件期望\(\E[Y\mid X]\)。
假设\(X\)是离散的，只能取\(x_1,x_2,\cdots\)，那么对于\(X\)的每个取值\(X=x_n\)这都是一个事件，因此可以写出\(\E[Y\mid X=x_n]=\dfrac{\E[Y\cdot \mathbb{1}[X=x_n]]}{\Pr[X=x_n]}\)。可见\(\E[Y\mid X=x_n]\)只与\(x_n\)有关，因此\(\E[Y\mid X]\)可以看作关于\(X\)取值的函数，也即\(\E[Y\mid X]\)是一个随机变量，\(\E[Y\mid X](\omega)=\E[Y\mid X=X(\omega)]\)。
注意到\(\E[Y\mid X]\)是\(\sigma(X)\)-可测的，因为这个随机变量就是根据\(X\)的取值定义的，它只取决于\(X\)划分集合的方式，只需要知道\(X(\omega)\)而不需要知道具体的\(\omega\)就能定义\(\E[Y\mid X]\)。所以我们会把\(\E[Y\mid X]\)等价地写作\(\E[Y\mid \sigma(X)]\)，后者是更本质的写法，因为本质上我们只关心\(\sigma(X)\)。我们知道\(\sigma\)-algebra描述信息，那么\(\E[Y\mid \sigma(X)]\)的含义就是已知\(X\)这一信息时对\(Y\)的平均值的估计。
在大多数应用场景下，我们只需要\(X\)是离散的就够了。但我们能够定义\(X\)是连续情形下的\(\E[Y\mid X]\)。
首先，如果\(X,Y\)有joint density，那么可以直接仿照离散情形写出\(\E[Y\mid X=x]=\displaystyle\int_\R y \cdot f_{Y\mid X}(y\mid x)dy\)，它就是一个随机变量。而如果joint density不存在，问题就变得复杂。本质上，我们要对于一个\(\sigma\)-algebra \(G\)定义\(\E[Y \mid G]\)。对于固定的\(G\)，我们观察到对于离散的随机变量会满足两个性质：第一点是，对于两个\(G\)-可测的随机变量\(X,X'\)，如果\(\forall C \in G\)都满足\(\E[X\cdot\mathbb{1}_C]=\E[X'\cdot\mathbb{1}_C]\)，那么almost surely成立\(X=X'\)。也即所有可能的\(C\)上随机变量的期望唯一确定随机变量本身；第二点是，对于well-defined的\(\E[Y\mid X]\)，\(\forall C \in \sigma(X)\)成立\(\E[\E[Y\mid X]\cdot \mathbb{1}_C]=\E[Y\cdot \mathbb{1}_C]\)（\(C\)上\(Y\)的平均值等于在不同\(X\)的前提下\(Y\)的平均值的平均值）。现在一个重要的定理告诉我们，在概率空间\((\Omega,\mathcal{F},P)\)上如果\(G \subseteq \mathcal{F}\)，那么对于任何随机变量\(Y\)，总存在一个\(G\)-可测的随机变量\(Z\)成立\(\forall C \in G,\E[Z\cdot \mathbb{1}_C]=\E[Y\cdot \mathbb{1}_C]\)。那么根据第二点观察，\(Z\)有着离散情形下\(\E[Y\mid G]\)拥有的性质，根据第一点观察\(Z\)是唯一的。于是我们就定义\(Z\)为\(\E[Y \mid G]\)，对于随机变量\(X,Y\)，\(\E[Y \mid X]\)就定义为\(\E[Y \mid \sigma(X)]\)。也就是如果我们能验证一个随机变量满足\(\forall C \in G,\E[Z\cdot \mathbb{1}_C]=\E[Y\cdot \mathbb{1}_C]\)这条性质，它就是我们要的条件期望。
下面列举一些条件期望满足的重要性质：\(\E[\E[Y\mid G]]=\E[Y]\)（这就是上面的第二点观察中取\(C\)为全集的特殊情况。）；\(G=\varnothing\)或\(G=\Omega\)时，\(\E[Y\mid G]=\E[Y]\)；如果\(Y\)是\(G\)可测的，那么\(\E[Y\mid G]=Y\)（因为\(G\)比\(Y\)更细，条件期望时\(Y\)取常数）；\(\E[aX+bY\mid G]=a\E[X\mid G]+b\E[Y\mid G]\)（线性性）；若\(Y\)是\(G\)可测的，则\(\E[XY\mid G]=Y\cdot \E[X\mid G]\)；若\(Y \bot \sigma(G)\)，则\(\E[X\mid G]=\E[X]\)；条件期望版本的Monotone Converge Theorem；若\(G_1\subseteq G_2\)，则\(\E[\E[X_1|G_1]|G_2]=\E[\E[X_1|G_2]|G_1]=\E[X|G_1]\)（“粗人和细人打架，粗人获胜”——chihao）；条件期望的Jensen不等式，对于凸函数\(f\)满足\(\E[f(X)\mid G]\geq f(\E[X\mid G])\)。
Martingale(鞅)的定义
假设用一个公平游戏来赌博，比如抛硬币，设正面算我们赢，反面算我们输。我们第一次下注￥1，如果赢了就结束，输了就下注￥2再来一次，再输就下注￥4……每次翻倍。我们能够发现只要我们赢一次，我们手上的钱就一定是￥1。这样的赌博策略就是Martingale的原意。这个策略可以用严格的数学语言来描述。在这个例子里，我们设\(X_i\)是第\(i\)轮结束时手上的钱数，\(Y_i\)是第\(i\)轮赚或输的钱数。那么\(X_{n+1}=X_n+Y_n\)。抛硬币这一公平游戏的实质在于，对于每一轮都成立\(\E[X_{n+1}\mid \sigma(X_1,\cdots,X_n)]=\E[X_n+Y_{n+1}\mid \sigma(X_1,\cdots,X_n)]\)，根据线性性化简为\(X_n+\E[Y_{n+1}\mid \sigma(X_1,\cdots,X_n)]\)，而抛硬币一定成立\(\E[Y_{n+1}\mid\sigma(X_1,\cdots,X_n)]=0\)，由此得到\(\E[X_{n+1}\mid\sigma(X_1,\cdots,X_n)]=\)\(X_n\)。（我们也会把\(\E[X_{n+1}\mid \sigma(X_1,\cdots,X_n)]\)简写为\(\E[X_{n+1}\mid X_1,\cdots,X_n]\)）
我们更一般地描述Martingale的定义。对于一列\(\sigma\)-algebra \(\mathcal{F_0}\subseteq\mathcal{F_1}\subseteq\cdots\)（称为一个Filtration）和一列随机变量\(X_0,X_1,\cdots\)，如果每个\(X_n\)都是\(\mathcal{F}_n\)可测的，且对于每个\(n\)都满足\(\E[X_{n+1}\mid \mathcal{F}_n]=X_n\)，则称\(\{X_n\}\)是关于\(\{\mathcal{F}_n\}\)的Martingale。
如果条件\(\E[X_{n+1}\mid \mathcal{F}_n]=X_n\)改为\(\E[X_{n+1}\mid \mathcal{F}_n]\geq X_n\)，则称为Submartingale；改为\(\E[X_{n+1}\mid \mathcal{F}_n]\leq X_n\)，则称为Supermartingale；
从Martingale的定义可以看出，我们手上的钱在期望意义下每一轮是不变的。我们决定在第一轮赌一块钱，最终就一定还是剩下一块钱。 换言之我们要证明\(\E[X_n]=\E[X_0]\)，这只需要在\(\E[X_{n+1}\mid \mathcal{F_n}]=X_n\)两边同时取期望得到\(\E[X_{n+1}]=\E[X_n]\)，然后归纳即可。我们举出几个另外的Martingale的例子：令\(X_{n+1}=X_n\cdot Y_{n+1}\)，如果\(\E[Y_{n+1}\mid X_0,\cdots,X_n]=1\)，则\(X_n\)也是Martingale；对于凸函数\(\phi\)，如果\(X_n\)是Martingale，那么\(\phi(X_n)\)是Submartingale。
对于随机变量列\(\{X_n\}\)，记\(\F_n=\sigma(X_1,\cdots,X_n)\)，令\(X=f(X_1,\cdots,X_n)\)，则\(\E[X\mid \F_n]\)（这是一个随机变量，记为\(Y_n\)）总是关于\(\F_n\)的Martingale。（Pf：\(\E[Y_{n+1}\mid\F_n]=\E[\E[X\mid \F_{n+1}]\mid \F_n]=\E[X\mid \F_n]=Y_n\)）这是一个神奇的结果，称为Doob Martingale。