發現簡書上有一個作者寫的有關馬爾科夫系列的文章寫得詳細、生動並且系統，特轉載過來學習一下。原文地址：隱馬爾可夫模型 - 馬爾可夫鏈、HMM參數和性質
目錄
一、馬爾可夫性質
馬爾科夫性質——當前的狀態只和上一時刻有關，在上一時刻之前的任何狀態都和我無關。我們稱其符合馬爾可夫性質。
具體的理論化描述如下：
設{X(t), t ∈ T}是一個隨機過程，E爲其狀態空間，若對於任意的t1<t2< ...<tn<t，任意的x1,x2,...,xn,x∈E，隨機變量X(t)在已知變量X(t1)=x1,...,X(tn)=xn之下的條件分佈函數只與X(tn)=xn有關，而與X(t1)=x1,...,X(tn-1)=xn-1無關，即條件分佈函數滿足下列等式，此性質稱爲馬爾可夫性；如果隨機過程滿足馬爾可夫性，則該過程稱爲馬爾可夫過程。
二、馬爾可夫鏈
馬爾可夫鏈 是指具有馬爾可夫性質的隨機過程。在過程中，在給定當前信息的情況下，過去的信息狀態對於預測將來狀態是無關的。——可以稱之爲馬爾科夫無後效性。
例子：在今天這個時間點而言，過去的股價走勢對我預測未來的股價是毫無幫助的。
PS：上面馬爾可夫鏈中提到的狀態，在本例指的是股價。
在馬爾可夫鏈的每一步，系統根據概率分佈，可以從一個狀態變成另外一個狀態，也可以保持當前狀態不變。狀態的改變叫做轉移，狀態改變的相關概率叫做轉移概率。
例子： 當前時間狀態下的股價，可以轉變成下一時刻的股價，股價的轉變即狀態的改變。這個狀態現在可以上升(股價提高)，狀態也可以下降。我可以根據當前股票的價格去決定下一刻股價上升、下降、不變的概率。這種股價變動的概率稱爲狀態轉移概率。
馬爾可夫鏈中的三元素是：狀態空間S、轉移概率矩陣P、初始概率分佈π。
例子:假設認爲股價有三種狀態(高、中、低)；
1、狀態空間S - 例： S是一個集合，包含所有的狀態 S股價={高，中，低}；
2、初始概率分佈π - 例：
股價剛發行的時候有一個初始價格，我們認爲初始價格爲高的概率爲50%，初始價格爲中的概率是30%，初始價格爲低的概率是20%。我們記股票價格的初始概率分佈爲：π=(0.5，0.3，0.2)；對應狀態：(高、中、低)；初始概率分佈是一個向量，如果有n個狀態，π是n維向量。
3、轉移概率矩陣P - 例：
現在有個股價爲中，下一個時刻狀態轉變的可能性有三種，中→高、中→低、中→中；將三種轉變的概率。此外當前時刻也有股票的價格屬於低，對應的轉變可能包括低→高、低→低、低→中；即每種狀態都有可能轉變成其他的狀態，若一共有n個狀態，形成的轉移概率矩陣應該是n×n階矩陣。這裏需要注意的是，股價從高→低，和低→高的概率是不同的。
馬爾可夫鏈案例：
設將天氣狀態分爲晴、陰、雨三種狀態，假定某天的天氣狀態只和上一天的天氣狀態有關，狀態使用1(晴)、2(陰)、3(雨)表示，轉移概率矩陣P如下：
第n+1天天氣狀態爲j的概率爲：
因此，矩陣P即爲條件概率轉移矩陣。矩陣P的第i行元素表示，在上一個狀態爲i的時候的分佈概率，即每行元素的和必須爲1。
三、HMM-隱馬爾可夫模型
隱馬爾可夫模型(Hidden Markov Model, HMM)是一種統計模型，在語音識別、行爲識別、NLP、故障診斷等領域具有高效的性能。
HMM是關於時序的概率模型，描述一個含有未知參數的馬爾可夫鏈所生成的不可觀測的狀態隨機序列，再由各個狀態生成觀測隨機序列的過程。
HMM是一個雙重隨機過程---具有一定狀態的隱馬爾可夫鏈和隨機的觀測序列。
HMM隨機生成的狀態隨機序列被稱爲狀態序列；每個狀態生成一個觀測，由此產生的觀測隨機序列，被稱爲觀測序列。
思考：z1,z2...,zn是不可觀測的狀態，x1,x2,...xn是可觀測到的序列；不可觀測的狀態決定可觀則序列的值(z的取值決定X的取值);
1、在z1、z2 不可觀測的情況下，x1和z2獨立嗎？x1和x2獨立嗎？
回答：這個問題可以回顧之前的貝葉斯網絡來理解。
首先z1，z2都是離散的值，但x1的值可能是離散的也可能是連續的。比如z是天氣情況，每天天氣的改變是離散的。x是因爲天氣而改變的一些其他狀態，比如x=(地面是否潮溼、路上行人數量、雨傘銷售數量...)；
在z1和z2不可觀測的情況下，x1和z2不獨立，x1和x2也是不獨立的。
2、 在z1、z2可觀測的情況下，x1和z2獨立嗎？x1和x2獨立嗎？
回答： 在z1和z2可觀測的情況下，因爲x1和z2的取值只和z1有關，所以就獨立了。同樣在給定了z1和z2的情況下，x1和x2也獨立。
HMM由隱含狀態S、可觀測狀態O、初始狀態概率矩陣π、隱含狀態轉移概率矩陣A、可觀測值轉移矩陣B(又稱爲混淆矩陣，Confusion Matrix)；
π和A決定了狀態序列，B決定觀測序列，因此HMM可以使用三元符號表示，稱爲HMM的三元素：
S可以統計歷史出現的所有狀態；
初始概率分佈π，統計S中各個狀態各自出現的概率作爲我們的初始概率分佈π向量值；
四、HMM參數
S是所有可能的狀態集合，O是所有可能的觀測集合：
是長度爲T的狀態序列，Q是對應的觀測序列：
S={下雨，陰天，晴天}；O={地上幹，地上溼}
I = {晴，雨，雨，陰，晴，陰}
Q={幹，溼，溼，溼，幹，幹}
A是隱含狀態轉移概率矩陣:
其中aij是在時刻t處於狀態si的條件下時刻t+1轉移到狀態sj的概率。
a晴雨 = 某天是晴天條件下，下一天是雨天的概率。 （某一時刻→下一時刻）
B是可觀測值轉移概率矩陣:
其中bij是在時刻t處於狀態si的條件下生成觀測值oj的概率。
b晴幹 = 某天是晴天條件下，某天是地是乾的的概率。 （同一時刻）
π是初始狀態概率向量:
其中πi是在時刻t=1處於狀態si的概率。
π晴 = 初始第一天是晴天的概率；
π雨 = 初始第一天是雨天的概率；
五、HMM的兩個基本性質
p(it | .....) 表示在從t-1時刻的觀測值qt-1，一直到第1時刻觀測值q1的條件下，在第t時刻發生狀態的概率。
性質1： 最終分析結果發現，在第t時刻發生狀態的概率it只和t-1時刻有關。
性質2： 第t時刻的觀測值qt只和第t時刻的狀態it有關。
隱馬爾科夫模型的缺點：
HMM模型中存在兩個假設：一是輸出觀察值之間嚴格獨立，二是狀態的轉移過程中當前狀態只與前一狀態有關(一階馬爾可夫模型)，能夠處理的問題也很侷限了。應用場景應該比較狹窄。