HMM的學習筆記整理

隱馬爾可夫模型是關於時序的概率模型,描述由一個隱藏的馬爾可夫鏈隨機生成不可觀測的狀態隨機序列,再由各個狀態生成一個觀測而產生觀測隨機序列的過程,隱藏的馬爾可夫鏈隨機生成的狀態序列,稱爲狀態序列。每一個狀態生成一個觀測,而由此產生的觀測的隨機序列,稱爲觀測序列。序列的每一個位置又可以看作是一個時刻。

GMM的理解:https://blog.csdn.net/weixin_42555080/article/details/92222665

示例說明:

引用:https://blog.csdn.net/lukabruce/article/details/82380511
假設我手裏有三個不同的骰子。第一個骰子是我們平常見的骰子(稱這個骰子爲D6),6個面,每個面(1,2,3,4,5,6)出現的概率是1/6。第二個骰子是個四面體(稱這個骰子爲D4),每個面(1,2,3,4)出現的概率是1/4。第三個骰子有八個面(稱這個骰子爲D8),每個面(1,2,3,4,5,6,7,8)出現的概率是1/8。
這裏寫圖片描述
在這裏插入圖片描述
假設我們開始擲骰子,我們先從三個骰子裏挑一個,挑到每一個骰子的概率都是1/3。然後我們擲骰子,得到一個數字,1,2,3,4,5,6,7,8中的一個。不停的重複上述過程,我們會得到一串數字,每個數字都是1,2,3,4,5,6,7,8中的一個。

例如我們可能得到這麼一串數字(擲骰子10次):1 6 3 5 2 7 3 5 2 4

這串數字叫做可見狀態鏈(對應上面公式的觀察到的結果爲 Y)。但是在隱馬爾可夫模型中,我們不僅僅有這麼一串可見狀態鏈,還有一串隱含狀態鏈(對應上面公式的隱藏的爲 X)。

在這個例子裏,這串隱含狀態鏈就是你用的骰子的序列。比如,隱含狀態鏈有可能是:D6 D8 D8 D6 D4 D8 D6 D6 D4 D8

一般來說,

HMM中說到的馬爾可夫鏈其實是指隱含狀態鏈,隱含狀態(骰子)之間存在轉換概率(transition probability)。

在我們這個例子裏,D6的下一個狀態是D4,D6,D8的概率都是1/3。D4的下一個狀態是D4,D6,D8的轉換概率也都一樣是1/3。這樣設定是爲了最開始容易說清楚,但是我們其實是可以隨意設定轉換概率的。比如,我們可以這樣定義,D6後面不能接D4,D6後面是D6的概率是0.9,是D8的概率是0.1,這樣就是一個新的HMM,一般情況權重設定也確實是不一樣的。

同樣的,

儘管可見狀態之間沒有轉換概率,但是隱含狀態和可見狀態之間有一個概率叫做輸出概率(emission probability)。

就我們的例子來說,六面骰(D6)產生1的輸出概率是1/6。產生2,3,4,5,6的概率也都是1/6。我們同樣可以對輸出概率進行其他定義。比如,我有一個被賭場動過手腳的六面骰子,擲出來是1的概率更大,是1/2,擲出來是2,3,4,5,6的概率是1/10。
在這裏插入圖片描述
這裏寫圖片描述

而三個骰子之間也是可以相互轉換的,其轉換關係示意圖如下所示。
在這裏插入圖片描述

其實對於HMM來說,如果提前知道所有隱含狀態之間的轉換概率和所有隱含狀態到所有可見狀態之間的輸出概率,做模擬是相當容易的。

**

書本定義

:**
引用: https://blog.csdn.net/lhm1019/article/details/79969028
在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述
例子:
在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述
在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述
我的推導:
在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述
我的推理:
在這裏插入圖片描述

**

總結:

**

1.隱馬爾可夫模型由初始概率分佈、狀態轉移概率分佈以及觀測概率分佈確定。

2.隱馬爾可夫模型的3個基本問題:

1)概率計算問題,給定模型R(轉移概率、輸出概率、初始概率)和觀測序列,計算在模型下觀測序列O出現的概率P(O|R).

 算法:

   1. 直接計算法(計算量太大)

   2. forward-backward algorithm :前向-後向算法

2)學習問題,已知觀測序列O ,估計模型R參數,使得在該模型下觀測序列概率最大P(O|R),即用最大似然估計的方法估計參數。

  算法:

    根據訓練數據包括 1.觀察序列和對應的狀態序列 2.只有觀察序列

    分別有有監督學習和非監督學習來實現。

   1.有監督學習:根據極大似然估計算法來估計模型的參數(轉移概率、觀測概率、初始概率)

   2.非監督學習:Baum-Welch 算法 (EM算法在隱馬爾可夫模型學習中具體實現)

   ** 由於人工標註成本較大,所以往往採用非監督學習算法。

3) 預測問題:也就是解碼問題,已經模型R和觀測序列,即求出給定觀測序列條件下最大的狀態序列。

   算法:
   
   1.近似算法

   2.維特比算法,即用動態規劃求狀態最大路徑(最優路徑)         
發佈了9 篇原創文章 · 獲贊 5 · 訪問量 3203
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章