CRF條件隨機場
CRF的出現是爲了解決標註偏差的問題
參考白板推導系列https://www.bilibili.com/video/BV19t411R7QU?from=search&seid=14157569437204270961
背景引入
這裏補充一點線性判別LDA：類內間距最小，類間最大~
邏輯迴歸本身是一個二分類的問題
當是多分類的時候：softmax時候從熵的角度來看是最大熵原則~
最大熵：滿足給定事實的情況下，其熵分佈滿足指數族分佈
在滿足給定樣本均值和方差分佈的情況下。其最大熵的分佈滿足高斯分佈~
邏輯迴歸最大熵作分類的時候其都可以看作對數線性組合~
生成式模型~
樸素貝葉斯假設特徵之間是相互獨立的，這個是強假設~
HMM
生成模型
那麼如何從貝葉斯引出馬爾可夫呢？
可以這麼想：
樸素貝葉斯研究的是一個分類的問題，當把分類y(0/1)問題變成一個標註問題（也就是加上（時間）這個序列）的時候，由此引出隱馬爾可夫模型（HMM)
當然HMM是有兩個很強的條件的：
要求：
- 馬氏鏈：齊次馬爾可夫，隱狀態（\(y_i\)是一個離散的）
- 觀測變量相互獨立：X1,X2...在給定y的條件下相互獨立
高斯混合模型~
從高斯模型怎麼過度到HMM呢？
增加時間序列
最大熵隱馬爾可夫模型MEMM
HMM+最大熵模型的演變
注意哦這個是一個判別模型研究的是P(y|x)也就是一個標註問題，而且MEMM的出現去掉了HMM的一個強假設（先驗條件）：就是不需要觀測變量相互獨立了，其實也就是改變了一個箭頭的方向
ok,以上就是綜述，接下來開始正題
HMM與MEHMM的關係
從HMM講起白板推導系列
HMM的兩個重要前提條件
-
馬爾可夫齊次一階：
-
觀測序列獨立假設：也就是樸素貝葉斯的獨立性假設
\(\lambda\)=\((pi,a,b)\)
馬爾可夫之所以出現就是爲了優化模型：例如在一個序列中，\(x_1\)與\(x_2..x_n\)其實都是應該有關係的，但是計算量上就會大很多，而馬爾可夫優化了這個狀態，即\(x_i\)只與它前一個狀態\(X_{i-1}\)有關
齊次：就是每個狀態的轉移是服從一個離散分佈的，並且每個狀態轉移的分佈是一致的
至於HMM與MEHMM的關係我覺得
下面這個圖足以
注意
對於馬爾可夫鏈式結構，我們在做非文本結構轉化到文本結結構的時候更關係序列標準的問題，因此直接求條件概率即可，先求聯合概率再求條件概率的話使問題複雜化~
ok接下來接下來就講
MEMM與CRF
重點來啦~
條件隨機場CRF
條件：指的是判別式模型
隨機場：指的是無向圖模型
CRF的概率密度函數~
概率圖的兩種形式
learning就是計算算法模型超參數取值的過程；inference往往是預測的過程。
learning：學習參數
inference：
- 邊緣概率
- 條件概率
- MAP:最大後驗概率：decodinng（一個序列標註的問題）找到一個y序列找他的概率能達到最大
IID:獨立同分布~
CRF求邊緣概率
CRF參數估計
待補充~