語音與語言處理筆記——6HMM & maximum entropy

1. markov chains
   也稱作可觀察馬爾可夫模型，和HMM一樣，是一種加權有限狀態自動機，每個狀態所有弧上的概率求和爲1。表示一種概率圖模型。
   
   可以用初始狀態、轉移概率、有限狀態集得到一個序列。
2. hmm
   有限狀態集、轉移概率、觀察序列、觀察概率/發射概率(即觀測序列似然度)、初始狀態/結束狀態、初始狀態概率、
   HMM三個基本問題：
   problem1：計算似然度，已知HMM $\lambda=(A,B)$和觀測序列O，確定似然度$P(O|\lambda)$
   problem2:解碼，已知觀察序列O和HMM $\lambda=(A,B)$，確定最優隱含狀態序列Q。
   problem3：learning模型訓練，已知觀察序列O和HMM的有限隱含狀態集，學習HMM的參數A和B。
3. computing likelyhood:HMM前向算法
4. decode：veterbi算法
5. training HMM：forward-backward算法
6. maximum entropy 最大交叉熵訓練準則