隱馬爾可夫模型學習

隱馬爾可夫模型學習

基本概念

HMM五元組

• 觀測序列-O
• 狀態序列-I
• 初始狀態概率向量-π
• 狀態轉移概率矩陣-A
• 觀測概率矩陣-B

HMM三要素

• 初始狀態概率向量-π
• 狀態轉移概率矩陣-A
• 觀測概率矩陣-B

兩個基本假設

• 齊次馬爾科夫性假設
  $\begin{aligned} P(i_t|i_{t-1},o_{t-1},\ldots ,i_1,o_1)=P(i_t|i_{t-1}),~~~~t=1,2,\ldots ,T \end{aligned}$
• 觀測獨立性假設
  $\begin{aligned} P(o_t|i_T,o_T,i_{T-1},o_{T-1},\ldots ,i_{t+1},o_{t+1},i_t,i_{t-1},o_{t-1},\ldots ,i_1,o_1)=P(o_t|i_t) \end{aligned}$

案例

有三個骰子：

• 六面體：$(1,2,3,4,5,6)$
• 八面體：$(1,2,3,4,5,6,7,8)$
• 四面體：$(1,2,3,4)$
  放到黑盒子，有放回的抽取骰子並投擲骰子觀測此時的數字。
  狀態集合：$Q=\{D4,D6,D8\},N=3$
  觀測集合：$V=\{1,2,3,4,5,6,7,8\},M=8$
  觀測序列：$O=\{1,6,3,5,2,7,3,5,2,4\}$
  初試概率分佈：$\pi =(\frac{1}{3},\frac{1}{3},\frac{1}{3})^{\text{T}}$
  狀態轉移概率分佈：$A=\left[ \begin{matrix}0.1&0.5&0.4 \\ 0.4&0.1&0.5 \\0.3&0.5&0.2 \end{matrix}\right]$
  觀測概率分佈：$B=\left[ \begin{matrix}0.25&0.25&0.25&0.25&0&0&0&0 \\ \frac{1}{6}&\frac{1}{6}&\frac{1}{6}&\frac{1}{6}&\frac{1}{6}&\frac{1}{6}&0&0 \\0.125&0.125&0.125&0.125&0.125&0.125&0.125&0.125\end{matrix}\right]$

HMM三類問題

• 概率計算問題:給定模型$\lambda=(\pi ,A,B)$和狀態序列O的情況下，求在模型$\lambda=(\pi ,A,B)$下觀測序列O出現的概率$P(O|\lambda)$。(Forward-backward算法)
• 解碼問題:已知模型$\lambda=(\pi ,A,B)$和觀測序列O,求對給定觀測序列條件概率$P(I|O)$最大的狀態序列，即給定觀測序列，求最有可能的對應狀態序列。(viterbi算法)
• 學習問題:觀測序列O已知的情況下，求解模型$\lambda=(\pi ,A,B)$參數， 使得在該模型下觀測序列概率$P(O|\lambda)$最大。(極大似然估計算法)