CRF 條件隨機場

條件隨機場模型是Lafferty於2001年,在最大熵模型隱馬爾科夫模型的基礎上,提出的一種判別式概率無向圖學習模型,是一種用於標註和切分有序數據的條件概率模型。
CRF最早是針對序列數據分析提出的,現已成功應用於自然語言處理(Natural Language Processing,NLP) 、生物信息學、機器視覺及網絡智能等領域。
1.序列標註的例子
標註(實體命名識別):任命 地名 組織名
標註(漢語詞性標註):名詞 動詞 主次形容詞 副詞
簡單地講,隨機場可以看成是一組隨機變量的集合(這組隨機變量對應同一個樣本空間)。當給每一個位置按照某種分佈隨機賦予一個值之後,其全體就叫做隨機場
當然,這些隨機變量之間可能有依賴關係,一般來說,也只有當這些變量之間有依賴關係的時候,我們將其單獨拿出來看成一個隨機場纔有實際意義。
馬爾科夫隨機場(MRF對應一個無向圖。這個無向圖上的每一個節點對應一個隨機變量,節點之間的邊表示節點對應的隨機變量之間有概率依賴關係。因此,MRF的結構本質上反應了我們的先驗知識——哪些變量之間有依賴關係需要考慮,而哪些可以忽略。
具有馬爾科夫性質:離當前因素比較遙遠(這個遙遠要根據具體情況自己定義)的因素對當前因素的性質影響不
大。
現在,如果給定的MRF中每個隨機變量下面還有觀察值,我們要確定的是給定觀察集合下,這個MRF的分佈,也就是條件分佈,那麼這個MRF就稱爲CRF。它的條件分佈形式完全類似於MRF的分佈形式,只不過多了一個觀察集合x。
最通用角度來看,CRF本質上是給定了觀察值 (observations)集合的MRF。
設G=(V,E)是一個無向圖,是G中以節點v位索引隨機變量Y_v構成的集合,在給定X的條件下,如果每一個隨機變量Y_v滿足馬兒可夫性,即P(Y_v|X,Y_u)
發佈了111 篇原創文章 · 獲贊 86 · 訪問量 26萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章