隱馬爾可夫模型學習筆記（之二，學習算法）

隱馬爾可夫模型的學習，根據訓練數據是包括觀測序列和狀態序列還是隻有觀測序列，可以分別由監督學習與非監督學習實現。由於監督學習需要使用訓練數據，而人工標註訓練數據往往代價很高，有時就會利用非監督學習的方法，即Baum-Welch算法（也就是EM算法)。在介紹學習算法之前，先介紹一些概率和期望值的計算。這些計算會成爲Baum-Welch算法公式的基礎。

一些概率和期望值的計算

利用前向概率和後向概率，可以得到關於單個狀態和兩個狀態概率的計算公式。
1. 給定模型λ$\lambda$ 和觀測O$O$ ，在時刻t$t$ 處於狀態qi$q_i$ 的概率。記爲

γt(i)=P(it=qi|O,λ)$${\gamma }_t(i)=P(i_t=q_i|O,\lambda )$$

先分解爲分數形式

γt(i)=P(it=qi,O|λ)P(O|λ)(1)$$\begin{array}{}\text{(1)}& {\gamma }_t(i)=\frac{P(i_t=q_i,O|\lambda )}{P(O|\lambda )}\end{array}$$

根據前向概率的定義可以做以下變換

αt(i)=P(o1,o2...ot,it=qt|λ)=P(it=qt|λ)P(o1,o2...ot|it=qt,λ)$${\alpha }_t(i)=P(o_1,o_2...o_t,i_t=q_t|\lambda )=P(i_t=q_t|\lambda )P(o_1,o_2...o_t|i_t=q_t,\lambda )$$

後向概率的定義如下

βt(i)=P(ot+1,ot+2...,oT|it=qt,λ)$${\beta }_t(i)=P(o_{t+1},o_{t+2}...,o_T|i_t=q_t,\lambda )$$

將這兩者相乘得到

αt(i)∗βt(i)====P(it=qt|λ)P(o1,o2...ot|it=qt,λ)P(ot+1,ot+2...,oT|it=qt,λ)P(it=qt|λ)P(o1,o2...oT|it=qt,λ)P(it=qt|λ)P(O|it=qt,λ)P(it=qt,O|λ)(1)(2)(3)(2)$$\begin{array}{}\text{(1)}& {\alpha }_t(i)\ast {\beta }_t(i)& =& P(i_t=q_t|\lambda )P(o_1,o_2...o_t|i_t=q_t,\lambda )P(o_{t+1},o_{t+2}...,o_T|i_t=q_t,\lambda )\text{(2)}& & =& P(i_t=q_t|\lambda )P(o_1,o_2...o_T|i_t=q_t,\lambda )\text{(3)}& & =& P(i_t=q_t|\lambda )P(O|i_t=q_t,\lambda )\text{(2)}& & =& P(i_t=q_t,O|\lambda )\end{array}$$

以上結果從兩者的定義上也很好理解。
對變量i$i$ 在範圍i=1,2,...N$i=1,2,...N$ 上求和

∑i=1NP(it=qt,O|λ)=P(O|λ)(3)$$\begin{array}{}\text{(3)}& \sum _{i=1}^{N}P(i_t=q_t,O|\lambda )=P(O|\lambda )\end{array}$$

將式(2),(3)$(2),(3)$ 代入(1)$(1)$ 可以得到

γt(i)=αt(i)∗βt(i)∑Nj=1αt(j)∗βt(j)(4)$$\begin{array}{}\text{(4)}& {\gamma }_t(i)=\frac{{\alpha }_t(i)\ast {\beta }_t(i)}{\sum _{j=1}^N{\alpha }_t(j)\ast {\beta }_t(j)}\end{array}$$

2. 給定模型λ$\lambda$ 和觀測O$O$ ，在時刻t$t$ 處於狀態qi$q_i$ 且在時刻t+1$t+1$ 處於狀態qj$q_j$ 的概率。記爲

ξt(i,j)=P(it=qi,it+1=qj|O,λ)$${\xi }_t(i,j)=P(i_t=q_i,i_{t+1}=q_j|O,\lambda )$$

通過前向後向概率計算：

ξt(i)=P(it=qi,it+1=qj,O|λ)P(O|λ)=P(it=qi,it+1=qj,O|λ)∑Ni=1∑Nj=1P(it=qi,it+1=qj,O|λ)$${\xi }_t(i)=\frac{P(i_t=q_i,i_{t+1}=q_j,O|\lambda )}{P(O|\lambda )}=\frac{P(i_t=q_i,i_{t+1}=q_j,O|\lambda )}{\sum _{i=1}^N\sum _{j=1}^{N}P(i_t=q_i,i_{t+1}=q_j,O|\lambda )}$$

分子可以用前向後向概率表示

P(it=qi,it+1=qj,O|λ)=αt(i)aijbj(ot+1)βt+1(j)$$P(i_t=q_i,i_{t+1}=q_j,O|\lambda )={\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)$$

則ξt(i)${\xi }_t(i)$ 可以表示爲

ξt(i)=αt(i)aijbj(ot+1)βt+1(j)∑Ni=1∑Nj=1αt(i)aijbj(ot+1)βt+1(j)$${\xi }_t(i)=\frac{{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}{\sum _{i=1}^N\sum _{j=1}^N{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}$$

3. 將γt(i)${\gamma }_t(i)$ 和ξt(i,j)${\xi }_t(i,j)$ 對各個時刻求和，可以得到一些有用的期望值。
(1) 觀測O$O$ 下，狀態i$i$ 出現的期望值

∑t=1Tγt(i)$$\sum _{t=1}^T{\gamma }_t(i)$$

將每一個時刻下，出現狀態i$i$ 的概率相加
(2) 觀測O$O$ 下，由狀態i$i$ 轉移的期望值

∑t=1T−1γt(i)$$\sum _{t=1}^{T-1}{\gamma }_t(i)$$

能夠從狀態i$i$ 轉移的時刻是1,2...T−1$1,\mathrm{2...}T-1$ ，比上一個求和公式少了時刻T$T$
(3) 觀測O$O$ 下，由狀態i$i$ 轉移到狀態j$j$ 的期望值

∑t=1T−1ξt(i,j)$$\sum _{t=1}^{T-1}{\xi }_t(i,j)$$

Baum-Welch模型

參數估計公式

·推導的過程，尤其是拉格朗日對偶，我暫時還不十分理解，先直接給出訓練方法，公式和代碼。Baum-Welch算法（Baum-Welch algorithm)，它是EM算法在隱馬爾可夫模型學習過程中的具體實現，由Baum和Welch提出。
(1)初始化
對n=0，選取a0ij，bj(k)0，π0i$a_{ij}^0，b_j(k{)}^0，{\pi }_i^0$ ，得到模型λ0=(a0ij，bj(k)0，π0i)${\lambda }^0=(a_{ij}^0，b_j(k{)}^0，{\pi }_i^0)$
(2)遞推。對n=1,2,...$n=1,2,...$

an+1ij=∑T−1t=1ξt(i,j)∑T−1t=1γt(i)$$a_{ij}^{n+1}=\frac{\sum _{t=1}^{T-1}{\xi }_t(i,j)}{\sum _{t=1}^{T-1}{\gamma }_t(i)}$$

bj(k)n+1=∑Tt=1,ot=vkγt(j)∑Tt=1γt(j)$$b_j(k{)}^{n+1}=\frac{\sum _{t=1,o_t=v_k}^T{\gamma }_t(j)}{\sum _{t=1}^T{\gamma }_t(j)}$$

πn+1i=γ1(i)$${\pi }_i^{n+1}={\gamma }_1(i)$$

公式右端按照觀測O=(o1,o2,...oT)$O=(o_1,o_2,...o_T)$ 和模型λn=(anij，bj(k)n，πni)${\lambda }^n=(a_{ij}^n，b_j(k{)}^n，{\pi }_i^n)$ 代入計算
(3)終止，得到模型λn+1=(an+1ij，bj(k)n+1，πn+1i)${\lambda }^{n+1}=(a_{ij}^{n+1}，b_j(k{)}^{n+1}，{\pi }_i^{n+1})$

Baum-Welch算法的Python實現

def baum_welch_train(self, observations, criterion=0.05):
    n_states = self.A.shape[0]
    n_samples = len(observations)

    done = False
    while not done:
        # alpha_t(i) = P(O_1 O_2 ... O_t, q_t = S_i | hmm)
        # Initialize alpha
        alpha = self._forward(observations)

        # beta_t(i) = P(O_t+1 O_t+2 ... O_T | q_t = S_i , hmm)
        # Initialize beta
        beta = self._backward(observations)

        xi = np.zeros((n_states,n_states,n_samples-1))
        for t in range(n_samples-1):
            denom = np.dot(np.dot(alpha[:,t].T, self.A) * self.B[:,observations[t+1]].T, beta[:,t+1])
            for i in range(n_states):
                numer = alpha[i,t] * self.A[i,:] * self.B[:,observations[t+1]].T * beta[:,t+1].T
                xi[i,:,t] = numer / denom

        # gamma_t(i) = P(q_t = S_i | O, hmm)
        gamma = np.sum(xi,axis=1)
        # Need final gamma element for new B
        prod =  (alpha[:,n_samples-1] * beta[:,n_samples-1]).reshape((-1,1))
        gamma = np.hstack((gamma,  prod / np.sum(prod))) #append one more to gamma!!!

        newpi = gamma[:,0]
        newA = np.sum(xi,2) / np.sum(gamma[:,:-1],axis=1).reshape((-1,1))
        newB = np.copy(self.B)

        num_levels = self.B.shape[1]
        sumgamma = np.sum(gamma,axis=1)
        for lev in range(num_levels):
            mask = observations == lev
            newB[:,lev] = np.sum(gamma[:,mask],axis=1) / sumgamma

        if np.max(abs(self.pi - newpi)) < criterion and \
                        np.max(abs(self.A - newA)) < criterion and \
                        np.max(abs(self.B - newB)) < criterion:
            done = 1

        self.A[:],self.B[:],self.pi[:] = newA,newB,newpi