Machine Learning Series No.8 -- CRF(Conditional Random field)

條件隨機場

判別模型

常用場景：詞性標註。CRF可以考慮相鄰數據的標記信息。

---

概率圖模型

概率圖模型（Probabilistic graphical model，PGM）是由圖表示的概率分佈。

概率無向圖模型

概率無向圖模型（Probabilistic undirected graphical model）又稱馬爾可夫隨機場（Markov random field），表示一個聯合概率分佈，其標準定義爲：設有聯合概率分佈 P(V) 由無向圖 G=(V, E) 表示，圖 G 中的節點表示隨機變量，邊表示隨機變量間的依賴關係。如果聯合概率分佈 P(V) 滿足成對、局部或全局馬爾可夫性，就稱此聯合概率分佈爲概率無向圖模型或馬爾可夫隨機場。

成對馬爾可夫性(Pairwise Markov Property)

局部馬爾科夫性（Local）

全局馬爾科夫性（global）

pairwise,local,global這三種馬爾可夫性定義等價。

---

有向圖的聯合概率分佈

​ 有向圖Gd=(Vd，Ed)$G^d=(V^d，E^d)$ ，有:

P(vd1,vd2,⋯,vdn)=∏i=1nP(vdi|vdπi)$$P(v_1^d,v_2^d,\cdots ,v_n^d)=\prod _{i=1}^{n}P(v_i^d|v_{\pi i}^d)$$

其中vdπi$v_{\pi i}^d$ 是vdi$v_i^d$ 的父節點集合。

無向圖的聯合概率分佈

​ 不同於有向圖模型，無向圖模型的無向性很難確保每個節點在給定它的鄰節點的條件下的條件概率和以圖中其他節點爲條件的條件概率一致。由於這個原因，無向圖模型的聯合概率並不是用條件概率參數化表示的，而是定義爲由一組條件獨立的局部函數的乘積形式。因子分解就是說將無向圖所描述的聯合概率分佈表達爲若干個子聯合概率的乘積，從而便於模型的學習和計算。

涉及概率無向圖的因子分解理論：

概率無向圖的聯合概率表示成其最大團上的隨機變量的函數的連乘形式。

最大團(max clique)：

無向圖中任意兩個節點均有邊連接的結點子集成爲團。

而最大團是指一個團，若再多加一個結點便不能成團的結點子集。

條件隨機場

條件隨機場（Conditional random field，CRF）是條件概率分佈模型 P(Y|X) ，表示的是給定一組輸入隨機變量 X 的條件下另一組輸出隨機變量 Y 的馬爾可夫隨機場，也就是說 CRF 的特點是假設輸出隨機變量構成馬爾可夫隨機場。

數學化表示：

P(Yv|X,Yw,w≠v)=P(Yv|X,Yw,w−v)   ∀v$$P(Y_v|X,Y_w,w\ne v)=P(Y_v|X,Y_w,w-v)\mathrm{\forall }v$$

其中，w−v$w-v$ 表示和v$v$ 相連的所有結點。這樣Y$Y$ 便是馬爾科夫隨機場。

1.線性鏈條件隨機場

​ 設X,Y都是由線性鏈表示的隨機變量序列，若給定X，P(Y|X)構成條件隨機場，則有：

P(Yi|X,Y1,Y2,⋯,Yi−1,Yi+1,⋯,Yn)=P(Yi|X,Yi−1,Yi+1)$$P(Y_i|X,Y_1,Y_2,\cdots ,Y_{i-1},Y_{i+1},\cdots ,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})$$

​ 因爲Yi−1和Yi+1$Y_{i-1}和Y_{i+1}$ 在線性鏈情況下，是和Yi$Y_i$ 相連的兩個結點。

​ 數學形式：(基於最大團分解，在線性鏈模型中，最大團就是兩個相鄰結點)

簡化的數學形式：

同樣也可以分爲學習問題、解碼問題、概率計算問題。其思路與HMM類似。

---

參考文獻

https://www.cnblogs.com/Determined22/p/6915730.html

https://www.cnblogs.com/pinard/p/7048333.html