條件隨機場(Conditional Random Fields, 以下簡稱CRF)：是給定一組輸入隨機變量條件下另一組輸出隨機變量的條件概率分佈模型，其特點是假設輸出隨機變量構成馬爾科夫隨機場。條件隨機場是一種判別式模型
CRF的作用：簡單理解就是從可選的標註序列中，選擇最靠譜的一個序列。比如一句話中有3個單詞，可選的詞性爲【名詞，動詞】。當我們對這三個字標記爲l1:(名詞，動詞，動詞)顯然不太靠譜，因爲在一個句子中動詞後面接動詞是說不通的。而標記爲l2（名詞，動詞，名詞）是靠譜的。
下面通過BiLSTM+CRF的列子說明一下CRF的具體應用場景。
上圖中採用BIO形式的序列標註。當沒有CRF層的時，預測出來的序列結果是無序的，而CRF的作用可以從訓練數據中學習一些約束信息。通過特徵函數得到各個序列的轉移概率，使用Viterbi算法計算分數最高的序列標籤。比如：
1.句子中第一個詞總是以標籤“B-“ 或 “O”開始，而不是“I-”
2.標籤“B-label1 I-label2 I-label3 I-…”,label1, label2, label3應該屬於同一類實體
CRF、MEMM、HMM比較：
- HMM -> MEMM： HMM模型中存在兩個假設：一是輸出觀察值之間嚴格獨立，二是狀態的轉移過程中當前狀態只與前一狀態有關。但實際上序列標註問題不僅和單個詞相關，而且和觀察序列的長度，單詞的上下文，等等相關。MEMM解決了HMM輸出獨立性假設的問題。因爲HMM只限定在了觀測與狀態之間的依賴，而MEMM引入自定義特徵函數，不僅可以表達觀測之間的依賴，還可表示當前觀測與前後多個狀態之間的複雜依賴。
- MEMM -> CRF: CRF不僅解決了HMM輸出獨立性假設的問題，還解決了MEMM的標註偏置問題，MEMM容易陷入局部最優是因爲只在局部做歸一化，而CRF統計了全局概率，在做歸一化時考慮了數據在全局的分佈，而不是僅僅在局部歸一化，這樣就解決了MEMM中的標記偏置的問題。使得序列標註的解碼變得最優解。
- HMM、MEMM屬於有向圖，所以考慮了xx與yy的影響，但沒將xx當做整體考慮進去。CRF屬於無向圖，沒有這種依賴性，克服此問題