馬爾科夫過程

參考：http://blog.sina.com.cn/s/blog_5398194701011yv6.html

馬爾可夫過程（Markov Process）

什麼是馬爾可夫過程

1、馬爾可夫性(無後效性)

　　過程或（系統）在時刻t₀所處的狀態爲已知的條件下，過程在時刻t > t₀所處狀態的條件分佈，與過程在時刻t₀之前年處的狀態無關的特性稱爲馬爾可夫性或無後效性。

　　即：將來只和現在有關，與過去無關

2、馬爾可夫過程的定義

　　具有馬爾可夫性的隨機過程稱爲馬爾可夫過程。

　　用分佈函數表述馬爾可夫過程：

　　設I：隨機過程{X(t),t\in T}的狀態空間，如果對時間t的任意n個數值:

　　

（注：X(t_n)在條件X(t_i) = x_i下的條件分佈函數）

　　    

(注：X(t_n))在條件X(t_{n − 1}) = x_{n − 1}下的條件分佈函數）

　　或寫成：

　　

　　

 

　　這時稱過程具馬爾可夫性或無後性，並稱此過程爲馬爾可夫過程。

3、馬爾可夫鏈的定義

 

　　時間和狀態都是離散的馬爾可夫過程稱爲馬爾可夫鏈                             。

馬爾可夫過程的概率分佈

　　研究時間和狀態都是離散的隨機序列:,狀態空間爲

1、用分佈律描述馬爾可夫性

　　對任意的正整數n,r和，有：

　　

 

　　PX_m + n = a_j | X_m = a_i，其中。（Xm+n只與Xm有關，與之前無關）

2、轉移概率

　　稱條件概率P_ij(m,m + n) = PX_m + n = a_j | X_m = a_i爲馬氏鏈在時刻m處於狀態a_i條件下，在時刻m+n轉移到狀態a_j的轉移概率。

　　說明：轉移概率特點：

　　。

 

　　由轉移概率組成的矩陣稱爲馬氏鏈的轉移概率矩陣。它是隨機矩陣。

n步轉移概率與一步轉移概率的區別是什麼？難道一個是從0到1，一個是從0到第n個狀態？

證明中用到的一個條件概率知識