NLP基礎：HMM

(6號上午整理完畢)

問題場景-扔不均衡硬幣

假設現在有兩枚質地不均勻的硬幣A和B，硬幣A爲正的概率是$\mu_1$，硬幣B爲正的概率爲$\mu_2$。那麼現在有這樣一種情況：小明在扔硬幣，我不知道小明扔的什麼硬幣(A或B)，我只能看到硬幣拋出後得到的結果正反的觀測序列。
在這個場景下，有三個不確定的要素：小明第一次扔時選擇扔硬幣A還是扔硬幣B的概率；小明當下選了某硬幣後接下來可能要選扔哪枚硬幣的轉移概率；扔出的硬幣得正反面的概率。

上述隱變量生成觀測序列的過程，即稱爲隱馬爾可夫模型。隱馬有三個基本問題：

Q1 Inference Problem

假如知道模型參數的情況下，如何去根據觀測值來反推背後隱藏變量的值？ --> 維特比算法

(通過硬幣的正反來推出這個硬幣是A還是B)

Q2 估計參數的過程

知道觀測到的序列值，估計模型的參數； --> EM算法
(通過硬幣的正反序列來推出硬幣A和B的正反面的概率，以及第一次選硬幣是A還是B的概率)

Q3：預測序列

已知模型參數的情況下，如何計算一個觀測序列的概率？
(求硬幣某一個正反序列發生的概率)

應用場景：詞性標註Pos

問題一：給定模型參數，找出最適合的z

方案一：考慮所有可能的值；

方案二：FB Algorithm

方案三：維特比

問題二：Inference Problem

Forward Algorithm

Backward Algorithm

問題三：Estimate