隱馬爾可夫模型(四)——維特比算法

一、問題回顧

隱馬爾可夫的預測問題，也稱爲解碼問題。即給定模型λ=(A,B,Π)和觀測序列O={o₁,o₂,…o_T}，求給定觀測序列條件下，最可能出現的對應的狀態序列。這個問題的求解需要用到基於動態規劃的維特比算法，我會在隱馬爾可夫模型系列的第四篇博客中講解。

二、近似算法

在講解維特比算法之前，我們先來看一種求解該問題的近似算法。
問題：在給定觀測序列 O = {o₁, o₂,…, o_T} 的條件下，求最優的狀態序列 I^* = { i₁^* , i₂^*, …, i_T^*}。
近似算法的思路：分別求出每一時刻 t 對應的最優狀態 i_t^* 。
求解：
用 γ_t( i )表示在觀測序列O給定條件下，時刻 t 的狀態爲 q_i 的概率，即 γ_t( i ) = P( i_t = q_i | O；λ)，可以用前面博客中講到的前向概率和後向概率將 γ_t( i )表示如下：


由 γ_t( i )的表達式就可以看出：

分別計算每一時刻 t 的最優狀態，最終就可以得到最優狀態序列 I^* = { i₁^* , i₂^*, …, i_T^*}。
弊端：
只能保證每一時刻 t 對應的狀態是最優的，但不能保證最後得到的整體狀態序列是最優的，而且最終的狀態序列可能都不會發生。

三、維特比算法

維特比算法用動態規劃來解決隱馬爾可夫的預測問題，思路是：先迭代求解出最後時刻 T 的最優狀態 i_T^* ，然後利用 T-1 時刻所記錄的內容找到時刻 T 的最優狀態爲 i_T^* 時所對應的T-1 時刻的最優狀態 i_T-1^* ，就這樣向前回溯就能得到整個最優的狀態序列。

維特比算法用到兩個符號，如下所示：
(1) δ_t( i )
δ_t( i )表示 t 時刻的狀態爲 q_i 且部分狀態序列和部分觀測序列發生的概率， 即 δ_t( i ) = P(i_t=q_i, i_t-1, i_t-2 ,…, i₁, o_t, o_t-1 ,…, o₁；λ)，其中 t=1,2,…,T；i=1,2,…,N。可見，使得δ_t( i )取最大值的 狀態q_i 就是時刻 t 的最優狀態，而且δ_t( i )考慮了 t 時刻之前的所有狀態及其對應的觀測，所以比近似算法要更可靠一點。
轉換：
爲了方便引入下一個符號表示，這裏將 δ_t( i ) 再做一下適當的轉換， 即 δ_t( i ) = P( i_t=q_i, i_t-1=q_j, i_t-2 ,…, i₁, o_t, o_t-1 ,…, o₁；λ)，其中 t=1,2,…,T；i=1,2,…,N；j=1,2,…,N，使得δ_t( i )取最大值的 狀態q_i 依然是時刻 t 的最優狀態，只是每一次在計算δ_t( i ) 時需要額外計算 i_t-1=q_j的N種情況。
解釋如下：
如果用原來的式子計算 δ_t( 1 )，即δ_t( 1 ) = P(i_t=q₁, i_t-1, i_t-2 ,…, i₁, o_t, o_t-1 ,…, o₁；λ)，只需計算一次即可，所以從δ_t( 1 )計算到δ_t( N )只需計算N次，然後從這N個概率中選一個最大的概率所對應的狀態作爲時刻 t 的最優狀態。

如果用 δ_t( 1 ) = P( i_t=q₁, i_t-1=q_j, i_t-2 ,…, i₁, o_t, o_t-1 ,…, o₁；λ) 來計算，則需要計算N次，因爲 q_j 有N種情況，所以從δ_t( 1 )計算到δ_t( N )需要計算N² 次，然後從這N²個概率中選一個最大的概率所對應的狀態作爲時刻 t 的最優狀態。看似是將問題變得更麻煩了，其實是爲了利用上一次計算的結果，比如在計算δ_t( 2 ) 時會用到δ_t( 1 ) 的結果，這一來可以減少計算，方便我們導出遞推公式。它還有另外一個好處就是回溯，我將會在下文進行解釋。
遞推公式：
因爲 δ_t( i ) = P( i_t=q_i, i_t-1=q_j, i_t-2 ,…, i₁, o_t, o_t-1 ,…, o₁；λ)，所以δ_t+1( i ) = P( i_t+1=q_i, i_t=q_j, i_t-2 ,…, i₁, o_t+1, o_t-1 ,…, o₁；λ)，即：

(2) Ψ_t( i )
用 Ψ_t( i )來記錄當時刻 t 的最優狀態爲 q_i 時，時刻 t-1 的狀態。符合 Ψ_t( i )是專門爲了回溯設立的，所以它和δ_t( i )有着類似的表達式，即：

利用上面將到的符號 δ_t( i ) 可以將Ψ_t( i )化簡爲：

當q_i是 t 時刻的最優狀態時，使得Ψ_t( i )概率達到最大的 q_j 就是 t-1 時刻的最優狀態，我們用Ψ_t( i )記錄下此時的 q_j 。

維特比算法流程：
輸入：模型λ=(A, B,Π )和觀測序列 O = {o₁,o₂,…o_T}
輸出：最優狀態序列 I^* = { i₁^* , i₂^*, …, i_T^*}
(1)初始化
δ₁(i) = π_ib_i(o₁) ,i=1,2,…,N
Ψ₁( i ) = 0，i=1,2,…,N
(2)遞推，對於 t = 2, 3, … , T，計算

(3)當 t = T 時終止
此時我們已經求得δ_T(i) ,i=1,2,…,N，所以得到 T 時刻的最優狀態爲：

(4)回溯，對於t = T-1, T-2, … , 1
我們已經求出來 i_T^* ,所以用 Ψ_T( i_T^*) 就可以得到 T-1 時刻的最優狀態。通過下式可以求出時刻 T-1 到 時刻 1 的最優狀態：

最終可以得到最優的狀態序列 I^* = { i₁^* , i₂^*, …, i_T^*}。