二元語法模型與viterbi算法分詞

注意:本篇博文標紅字部分爲一處筆誤的改正。非常感謝獵兔網 開發工程師 羅剛指出錯誤。歡迎大家光臨我的博客指正各種思維不周,本人不拒絕嚴格的批評,只要能指出具體錯誤,和改進方案

採用這種方法首先要弄懂1.什麼是二元語法模型:二元語法模型也就是一階馬爾科夫鏈,更通俗的說法是:一個詞出現與否,僅有它前面一個詞有關。舉個例子

:P(成|結合)*P(結合)>P(合成|結) *P(結)表示 “結合成”分詞爲 “結合  成”的概率要大於分詞爲“結 合成”的概率。這也是和一元語法模型的不同之處。對於一元語法模型“結合成”的分詞結合要看 P(結)*P(合)*P(成), P(結合)*P(成),P(結)*P(合成)誰大。對比一元語法模型和二元語法模型,我們能夠看出,二元語法模型優於一元語法模型,因爲它考慮了上下文相關性,同理,三元語法模型優於二元語法模型。

2. 什麼是Viterbi算法。Veterbi算法是動態規劃算法中的一種,常用在隱式馬爾科夫模型求最優路徑中。

我們首先要闡明動態規劃算法的結構:

子結構最優,子問題交疊。也就是說一:1個問題的最優解是由最優的子問題的最優解構成;2求解此問題最優解的方法過程,對於求解子問題也適用,也就是可遞歸性。

如果大家想對一元語法模型,和veterbi算法,有更深入的瞭解,可以參考以下兩篇博文:一元語法模型Viterbi算法

 未完待續

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章