HMM模型介紹

本文將幫您深入淺出的徹底理解HMM模型架構和其中用於參數估計的forward算法與backward算法，全文閱讀大約需要10分鐘，如果您希望親自手推公式，則總耗時約20分鐘。

本文爲HMM系列的第二篇，第一篇請見
RNN的開端！最詳細推導HMM算法推導+例子（一）：維特比算法和模型建立

本文爲貪心學院課程的學習筆記，講師爲李文哲博士。
閱讀本文需要概率論中的概率相關與不相關的基礎知識。

HMM參數估計

在第一篇文章中，我們介紹瞭如何通過complete case，即已知所有參數的情況下，求解維特比算法，從而獲得隱藏狀態z的序列。
現在我們將介紹，如何通過incomplete case轉換成complete case，算法即是forward算法和backward算法，分別簡稱爲F算法和B算法。

FB算法的目標和拆分

Forward and Backward算法目標：計算P( $z_{k}$ |x)
拆分成兩個算法：
F算法：P( $z_{k},x_{1:k}$ )聯合概率
B算法：P( $x_{1:k}$ | $z_{k}$ )

接下來對這兩個概率進行一點處理：

p(zk|x)正比於p(zk,x),只差常數項
P( $x_{1:k}$ | $z_{k}$ )，希望知道條件獨立從而簡化P。條件獨立要求x1到k的全部信息全包含到了zk上，假設xk+1和x1到k條件獨立於zk。

根據D-seperation判斷出無關，則P( $x_{1:k}$ | $z_{k}$ )可做如下簡化：

同理P(zk|x)也可以做簡化：

實際項目應用：Change Detection

假設通過HMM，在風控裏關心組團記賬，風險的東西，那麼需要知道，在哪些時間節點裏，網絡結構經過了很大變化，變化的時候就存在風險

方法1：直接比較網絡圖之間的相似度，如果相似度小於某個閾值，那麼久說明網絡經過了很大的變化
方法2：HMM模型法，隱式變量無法觀測到，能觀察到的是網狀結構，現在想知道那些地方出現了很大的變化。現在未必計算相似度，而是計算不同狀態下，生成網狀圖的可能性，用0,1序列表示狀態，0表示好，1表示風險高

只要評估 $p(z_{k} \not =z_{k+1}|x)$ 是否超過閾值，就能知道k到k+1是否發生了突變。爲了計算 $p(z_{k} \not =z_{k+1}|x)$ ,可用FB算法