通俗理解馬爾科夫鏈

    在理解馬爾科夫鏈之前先了解一下馬爾科夫性質,我們假設某一過程是由一個狀態序列構成,就相當於視頻由每一幀構成。這個狀態序列被稱爲狀態空間,假設某一時刻的狀態是其前一時刻狀態的函數,則說明該序列有馬爾科夫性質,通俗的說,該時刻的狀態只與其前一時刻的狀態有關,則序列有馬爾科夫性質。所以我們在預測下一狀態時,只與當前狀態有關,與當前狀態之前的狀態都無關。


由此引出一個概念:馬爾科夫過程。我們僅僅用語言描述:由概率論知識得,第n個狀態的條件概率等於之前n-1個狀態都成立時第n個狀態出現的概率,由於馬爾科夫性質,則簡化成第n個狀態的條件概率就等於第n-1個狀態條件下狀態n出現的概率,滿足這個過程也就稱之爲馬爾科夫過程。


從第n個狀態到第n+1個狀態時,有一個轉換矩陣A,即有P(n+1)=P(n)*A,由此推到得P(n+1)=P(1)A^n(n次冪),當P(n+1)和P(n)的差值在一個很小的範圍內,我們則稱馬爾科夫鏈達到平穩狀態,其中轉換矩陣A實際上就是狀態n中的各個部分轉換成狀態n+1時各部分的轉換概率,這個值可以自己設定,但是我們知道概率之和必須等於1,即A中的元素之和必須等於1。

    

發佈了28 篇原創文章 · 獲贊 28 · 訪問量 10萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章