條件隨機場簡介

之前學習了隱馬爾可夫模型，現在記錄一下條件隨機場。本文主要參考了《統計學習方法》，如有錯誤，請各位多多指教

1、什麼是條件隨機場

首先我們先了解什麼是隨機場。

在概率論中，隨機場的定義爲：由樣本空間Ω = {0, 1, ..., G − 1}n取樣構成的隨機變量Xi所組成的S = {X1, ..., Xn}。若對所有的ω∈Ω下式均成立，則稱π爲一個隨機場。更直白一點的理解是隨機場是由若干個位置組成的整體，當給每一個位置中按照某種分佈隨機賦予一個值之後，其全體就叫做隨機場。就如一句話對他進行詞性標註，先不論對錯，只要對每個詞標註了就形成一個隨機場。

接着我們來了解什麼是馬爾科夫隨機場。

先看《統計學習方法》中對馬爾科夫隨機場的定義。

概率無向圖模型，又稱爲馬爾可夫隨機場，是一個可以由無向圖表示的聯合概率分佈。

圖(graph)是由結點(node)及連接結點的邊(edge)組成的集合。結點和邊分別記作 v 和 e，結點和邊的集合分別記作 V 和 E，圖記作G=(V,E)。無向圖是指邊沒有方向的圖。設有聯合概率分佈P(Y)，Y是一組隨機變量。由無向圖G=(V,E)表示概率分佈P(Y)，即在圖G中，每個結點 v 表示一個隨機變量Yv；每條邊e表示隨機變量之間的概率依賴關係。

定義：設有聯合概率分佈P(Y)由無向圖G=(V,E)表示，在圖G中，結點表示隨機變量，邊表示隨機變量之間的依賴關係。如果聯合概率分佈P(Y)滿足成對、局部或全局馬爾可夫性，就稱此聯合概率分佈爲概率無向圖模型，或馬爾可夫隨機場。

成對、局部或全局馬爾可夫性定義如下：

成對馬爾可夫性：設u和v是無向圖G中任意兩個沒有邊連接的結點，結點u和v分別對應隨機變量Yu和Yv，其他所有結點爲O，對應的隨機變量組是YO。成對馬爾可夫性是指給定隨機變量組YO的條件下隨機變量Yu和Yv是條件獨立的，即

局部馬爾可夫性：設v是無向圖G中任意一個結點，W是與v有邊連接的所有結點，O是v, W以外的其他所有結點。分別表示隨機變量Yv，以及隨機變量組YW和YO。局部馬爾可夫性是指在給定隨機變量組YW的條件下隨機變量Yv與隨機變量組YO是獨立的，即

全局馬爾可夫性:設結點集合A, B是在無向圖G中被結點集合C分開的任意結點集合，如圖11.2所示。結點集合A, B和C所對應的隨機變量組分別是YA，YB和YC。全局馬爾可夫性是指給定隨機變量組YC條件下隨機變量組YA，YB是條件獨立的，即

上述成對的、局部的、全局的馬爾可夫性定義是等價的。

這裏更直白一點的理解是馬爾科夫隨機場是隨機場的特例，它假設隨機場中某一個位置的賦值僅僅與和它相連的位置的賦值有關，和與其不相連的位置的賦值無關。

條件隨機場

條件隨機場是給定隨機變量X條件下，隨機變量Y的馬爾可夫隨機場。這裏主要介紹定義在線性鏈上的特殊的條件隨機場，稱爲線性鏈條件隨機場。

定義：設X與Y是隨機變量，P(Y | X)是在給定X的條件下Y的條件概率分佈。若隨機變量Y構成一個由無向圖G=(V,E)表示的馬爾可夫隨機場，即

對任意結點v成立，則稱條件概率分佈P(Y|X)爲條件隨機場。式中w~v表示在圖G=(V,E)中與結點v有邊連接的所有結點w，w ！= v表示結點v以外的所有結點，Yv，Yu與Yw爲結點v，u與w對應的隨機變量。

線性鏈條件隨機場：

在CRF的定義中，我們並沒有要求X和Y有相同的結構。而現實中，我們一般都假設X和Y有相同的圖結構，在《統計學習方法》中主要說明的是線性鏈的情況，如圖有：

即:

X和Y有相同的結構的CRF就構成了線性鏈條件隨機場(Linear chain Conditional Random Fields,以下簡稱 linear-CRF)。

linear-CRF的數學定義：

設

均爲線性鏈表示的隨機變量序列，在給定隨機變量序列X的情況下，隨機變量Y的條件概率分佈構成條件隨機場，即滿足馬爾科性：

則稱爲線性鏈條件隨機場。

條件隨機場的參數化形式

條件隨機場通過定義特徵函數和權重係數來轉換成機器可以學習的模型。

下面先給出公式，然後進行解釋：

式中，tk和sl是特徵函數，和ul是對應的權值.Z(x)是規範化因子，求和是在所有可能的輸出序列上進行的

上式是線性鏈條件隨機場模型的基本形式，表示給定輸入序列x，對輸出序列y預測的條件概率。tk是定義在邊上的特徵函數，稱爲轉移特徵，依賴於當前和前一個位置，sl是定義在結點上的特徵函數，稱爲狀態特徵，依賴於當前位置。兩者都依賴於位置，是局部特徵函數。通常，特徵函數tk和sl取值爲1或0；當滿足特徵條件時取值爲1，否則爲0。條件隨機場完全由特徵函數和對應的權值確定。

線性鏈條件隨機場的簡化形式

即整理特徵函數，將其統一起來。

設有K1個轉移特徵，K2個狀態特徵，K=K1 + K2,，記