從貝葉斯網絡到條件隨機場

貝葉斯網絡

定義：貝葉斯網絡是一個有向無環圖$（Directed Acyclic Graph，DAG）$，有代表變量節點及連接這些節點的有向邊構成。節點代表隨機變量，節點間的有向邊代表了節點間的相互關係（有父節點指向其子節點），用條件概率表達變量間的依賴關係，沒有父節點的用先驗概率進行信息表達。

令$G$爲定義在$\{X_1,X_2,...,X_n\}$上的一個貝葉斯網絡，其聯合概率分佈可以表示爲各個節點的條件概率分佈的乘積：
$P(X) = \prod \limits_{i=1}^{n}p_i(X_i|Par_G(X_i))$
其中，$Par_G(X_i)$爲節點$X_i$的父節點，$p_i(X_i|Par_G(X_i)$爲節點條件概率表。

結論：貝葉斯網絡的聯合概率分佈可以表示爲：局部 條件概率表 連乘積的形式，（對比馬爾可夫模型和因子模型，貝葉斯網絡條件概率表的值因爲是概率，而不是勢函數的大小值，所以不用歸一化）。

如上圖，D代表試卷難度，I代表智商，G代表考試成績，S代表高考成績，L代表是否給該生推薦信。
所以上面這個例子的聯合概率密度就可以表示爲：
$P(D,I,G,S,L) = P(D)·P(I)·P(G|I,D)·P(S|I)·P(L|G)$
所以其中的一個概率可以計算爲：
$P(d^1,i^0,g^1,s^1,l^1)=P(d^1)P(i^0)P(g^1|I^0,d^1)P(s^1|i^0)P(l^0|g^1)=0.4×0.7×0.05×0.1=0.00007$

馬爾可夫隨機場：

定義：馬爾可夫隨機場（Markov Random Fields，MRF）的聯合概率分佈可以表示爲一下分解形式
$P(x_1,x_2,...,x_n)=\frac{1}{Z_\Phi}\prod \limits_{i=1}^{k}\phi_i(D_i)$
其中，$Z_\Phi$爲聯合概率分佈的歸一化因子，通常稱之爲配分函數（partition function），$D_i$是隨機變量的集合，因子$\phi_i(D_i)$是從隨機變量集合到實數域的一個映射，稱之爲勢函數或者因子。
$\Phi = (\phi_1(D_1),\phi_2(D_2),...\phi_k(D_k))$
$Z_\Phi=\sum \limits_{} ^{}\prod \limits_{i=1}^{k}\phi_i(D_i)$
聯合概率分佈可以表示爲：局部勢函數的連乘積的形式，並歸一，局部勢函數可以分爲：點勢函數與邊勢函數

所以
$P(A,B,C,D) =\frac{1}{Z_\Phi}\prod \limits_{i=1}^{k}\phi_i(D_i)=\frac{1}{Z_\Phi}\phi_1(A,B)\phi_1(B,C)\phi_1(C,D)\phi_1(D,A)$
其中$\phi_1(A,B)$可以表示爲：

$\left[ \begin{array}{ccc} a^0 & b^0 & 30\\ a^0 & b^1 & 5\\ a^1 & b^0 & 1\\ a^1 & b^1 & 10\\ \end{array} \right]$

後面的數值就是勢函數的值
其中這個圖只定義了A,B,C,D之間邊的關係，沒有定義節點變化的關係，所以可以在原有的式子基礎上加上
$p(X)=\frac{1}{Z}\prod \limits_{p}^{}\phi_p(x_p)\prod \limits_{p,q}^{}\phi_{pq}(x_p,x_q)$

勢函數也稱爲因子，表示爲多個點的取值限制的函數映射，如點A有兩個取值0，1，他的勢函數的取值可以是5，10，如點A,B的邊，其中B的取值也是0，1，則邊的勢函數就有四個取值
每個取值對應勢函數的一個數值，雖然這些數值不是概率，而且加在一起不是1，但是取值的大小可以代表一種概率發生的大小。

因子圖：

$p(X)=\frac{1}{Z}\prod \limits_{p}^{}\phi_p(X_p)$

聯合概率分佈可以表示爲：局部勢函數的連乘積的形式，並歸一。

馬爾可夫鏈：

下一刻狀態如果只由當前狀態決定，就叫一階馬爾可夫鏈，如果由當前和前一刻，那就叫二階，同理。所以有m階馬爾可夫鏈。

隱馬爾可夫模型：

在正常的馬爾可夫模型中，狀態對於觀察者來說是直接可見的。這樣狀態的轉換概率便是全部的參數。而在隱馬爾可夫模型中，狀態並不是直接可見的，但受狀態影響的某些變量則是可見的。每一個狀態在可能輸出的符號上都有一概率分佈。因此輸出符號的序列能夠透露出狀態序列的一些信息。

條件隨機場：

所以總把HMM和CRF進行比較，主要是因爲CRF和HMM都利用了圖的知識，但是CRF利用的是馬爾科夫隨機場（無向圖），而HMM的基礎是貝葉斯網絡（有向圖）。而且CRF也有：概率計算問題、學習問題和預測問題。大致計算方法和HMM類似，只不過不需要EM算法進行學習問題。