條件期望\(\newcommand{\E}{\mathbb{E}}\newcommand{\F}{\mathcal{F}}\)
對於隨機變量\(Y\)和事件\(B\)，我們定義\(Y\)關於\(B\)條件期望爲\(\E[Y\mid B]=\dfrac{\E[Y \cdot \mathbb{1}_B]}{P(B)}\)，直觀理解爲在已知\(Y\)發生時\(X\)的平均取值。現在我們希望定義一個隨機變量\(Y\)關於另一個隨機變量\(X\)的條件期望\(\E[Y\mid X]\)。
假設\(X\)是離散的，只能取\(x_1,x_2,\cdots\)，那麼對於\(X\)的每個取值\(X=x_n\)這都是一個事件，因此可以寫出\(\E[Y\mid X=x_n]=\dfrac{\E[Y\cdot \mathbb{1}[X=x_n]]}{\Pr[X=x_n]}\)。可見\(\E[Y\mid X=x_n]\)只與\(x_n\)有關，因此\(\E[Y\mid X]\)可以看作關於\(X\)取值的函數，也即\(\E[Y\mid X]\)是一個隨機變量，\(\E[Y\mid X](\omega)=\E[Y\mid X=X(\omega)]\)。
注意到\(\E[Y\mid X]\)是\(\sigma(X)\)-可測的，因爲這個隨機變量就是根據\(X\)的取值定義的，它只取決於\(X\)劃分集合的方式，只需要知道\(X(\omega)\)而不需要知道具體的\(\omega\)就能定義\(\E[Y\mid X]\)。所以我們會把\(\E[Y\mid X]\)等價地寫作\(\E[Y\mid \sigma(X)]\)，後者是更本質的寫法，因爲本質上我們只關心\(\sigma(X)\)。我們知道\(\sigma\)-algebra描述信息，那麼\(\E[Y\mid \sigma(X)]\)的含義就是已知\(X\)這一信息時對\(Y\)的平均值的估計。
在大多數應用場景下，我們只需要\(X\)是離散的就夠了。但我們能夠定義\(X\)是連續情形下的\(\E[Y\mid X]\)。
首先，如果\(X,Y\)有joint density，那麼可以直接仿照離散情形寫出\(\E[Y\mid X=x]=\displaystyle\int_\R y \cdot f_{Y\mid X}(y\mid x)dy\)，它就是一個隨機變量。而如果joint density不存在，問題就變得複雜。本質上，我們要對於一個\(\sigma\)-algebra \(G\)定義\(\E[Y \mid G]\)。對於固定的\(G\)，我們觀察到對於離散的隨機變量會滿足兩個性質：第一點是，對於兩個\(G\)-可測的隨機變量\(X,X'\)，如果\(\forall C \in G\)都滿足\(\E[X\cdot\mathbb{1}_C]=\E[X'\cdot\mathbb{1}_C]\)，那麼almost surely成立\(X=X'\)。也即所有可能的\(C\)上隨機變量的期望唯一確定隨機變量本身；第二點是，對於well-defined的\(\E[Y\mid X]\)，\(\forall C \in \sigma(X)\)成立\(\E[\E[Y\mid X]\cdot \mathbb{1}_C]=\E[Y\cdot \mathbb{1}_C]\)（\(C\)上\(Y\)的平均值等於在不同\(X\)的前提下\(Y\)的平均值的平均值）。現在一個重要的定理告訴我們，在概率空間\((\Omega,\mathcal{F},P)\)上如果\(G \subseteq \mathcal{F}\)，那麼對於任何隨機變量\(Y\)，總存在一個\(G\)-可測的隨機變量\(Z\)成立\(\forall C \in G,\E[Z\cdot \mathbb{1}_C]=\E[Y\cdot \mathbb{1}_C]\)。那麼根據第二點觀察，\(Z\)有着離散情形下\(\E[Y\mid G]\)擁有的性質，根據第一點觀察\(Z\)是唯一的。於是我們就定義\(Z\)爲\(\E[Y \mid G]\)，對於隨機變量\(X,Y\)，\(\E[Y \mid X]\)就定義爲\(\E[Y \mid \sigma(X)]\)。也就是如果我們能驗證一個隨機變量滿足\(\forall C \in G,\E[Z\cdot \mathbb{1}_C]=\E[Y\cdot \mathbb{1}_C]\)這條性質，它就是我們要的條件期望。
下面列舉一些條件期望滿足的重要性質：\(\E[\E[Y\mid G]]=\E[Y]\)（這就是上面的第二點觀察中取\(C\)爲全集的特殊情況。）；\(G=\varnothing\)或\(G=\Omega\)時，\(\E[Y\mid G]=\E[Y]\)；如果\(Y\)是\(G\)可測的，那麼\(\E[Y\mid G]=Y\)（因爲\(G\)比\(Y\)更細，條件期望時\(Y\)取常數）；\(\E[aX+bY\mid G]=a\E[X\mid G]+b\E[Y\mid G]\)（線性性）；若\(Y\)是\(G\)可測的，則\(\E[XY\mid G]=Y\cdot \E[X\mid G]\)；若\(Y \bot \sigma(G)\)，則\(\E[X\mid G]=\E[X]\)；條件期望版本的Monotone Converge Theorem；若\(G_1\subseteq G_2\)，則\(\E[\E[X_1|G_1]|G_2]=\E[\E[X_1|G_2]|G_1]=\E[X|G_1]\)（“粗人和細人打架，粗人獲勝”——chihao）；條件期望的Jensen不等式，對於凸函數\(f\)滿足\(\E[f(X)\mid G]\geq f(\E[X\mid G])\)。
Martingale(鞅)的定義
假設用一個公平遊戲來賭博，比如拋硬幣，設正面算我們贏，反面算我們輸。我們第一次下注￥1，如果贏了就結束，輸了就下注￥2再來一次，再輸就下注￥4……每次翻倍。我們能夠發現只要我們贏一次，我們手上的錢就一定是￥1。這樣的賭博策略就是Martingale的原意。這個策略可以用嚴格的數學語言來描述。在這個例子裏，我們設\(X_i\)是第\(i\)輪結束時手上的錢數，\(Y_i\)是第\(i\)輪賺或輸的錢數。那麼\(X_{n+1}=X_n+Y_n\)。拋硬幣這一公平遊戲的實質在於，對於每一輪都成立\(\E[X_{n+1}\mid \sigma(X_1,\cdots,X_n)]=\E[X_n+Y_{n+1}\mid \sigma(X_1,\cdots,X_n)]\)，根據線性性化簡爲\(X_n+\E[Y_{n+1}\mid \sigma(X_1,\cdots,X_n)]\)，而拋硬幣一定成立\(\E[Y_{n+1}\mid\sigma(X_1,\cdots,X_n)]=0\)，由此得到\(\E[X_{n+1}\mid\sigma(X_1,\cdots,X_n)]=\)\(X_n\)。（我們也會把\(\E[X_{n+1}\mid \sigma(X_1,\cdots,X_n)]\)簡寫爲\(\E[X_{n+1}\mid X_1,\cdots,X_n]\)）
我們更一般地描述Martingale的定義。對於一列\(\sigma\)-algebra \(\mathcal{F_0}\subseteq\mathcal{F_1}\subseteq\cdots\)（稱爲一個Filtration）和一列隨機變量\(X_0,X_1,\cdots\)，如果每個\(X_n\)都是\(\mathcal{F}_n\)可測的，且對於每個\(n\)都滿足\(\E[X_{n+1}\mid \mathcal{F}_n]=X_n\)，則稱\(\{X_n\}\)是關於\(\{\mathcal{F}_n\}\)的Martingale。
如果條件\(\E[X_{n+1}\mid \mathcal{F}_n]=X_n\)改爲\(\E[X_{n+1}\mid \mathcal{F}_n]\geq X_n\)，則稱爲Submartingale；改爲\(\E[X_{n+1}\mid \mathcal{F}_n]\leq X_n\)，則稱爲Supermartingale；
從Martingale的定義可以看出，我們手上的錢在期望意義下每一輪是不變的。我們決定在第一輪賭一塊錢，最終就一定還是剩下一塊錢。 換言之我們要證明\(\E[X_n]=\E[X_0]\)，這隻需要在\(\E[X_{n+1}\mid \mathcal{F_n}]=X_n\)兩邊同時取期望得到\(\E[X_{n+1}]=\E[X_n]\)，然後歸納即可。我們舉出幾個另外的Martingale的例子：令\(X_{n+1}=X_n\cdot Y_{n+1}\)，如果\(\E[Y_{n+1}\mid X_0,\cdots,X_n]=1\)，則\(X_n\)也是Martingale；對於凸函數\(\phi\)，如果\(X_n\)是Martingale，那麼\(\phi(X_n)\)是Submartingale。
對於隨機變量列\(\{X_n\}\)，記\(\F_n=\sigma(X_1,\cdots,X_n)\)，令\(X=f(X_1,\cdots,X_n)\)，則\(\E[X\mid \F_n]\)（這是一個隨機變量，記爲\(Y_n\)）總是關於\(\F_n\)的Martingale。（Pf：\(\E[Y_{n+1}\mid\F_n]=\E[\E[X\mid \F_{n+1}]\mid \F_n]=\E[X\mid \F_n]=Y_n\)）這是一個神奇的結果，稱爲Doob Martingale。