6.1離散時間馬爾科夫鏈

1.定義

一個可數的離散狀態集合$S$,對任意$i_0,i_1,...,i_n\in S$,若其在$n+1$時刻的狀態和之前狀態的關係是$P(X_{n+1}=i_{n+1}|X_0=i_0,X_1=i_1,...,X_n=i_n)=P(X_{n+1}=i_{n+1}|X_n=i_n),$那麼我們說狀態之間的轉移關係 隨機過程X是離散時間馬爾科夫鏈。
進一步解釋就是說，下一狀態只和當前狀態有關，和之前的狀態無關。

2.表示

1. $p_{ij}(n)=P(X_{n+1}=j|X_n=i),$一步轉移概率
2. $p_{ij}^k(n)=P(X_{n+k}=j|X_n=i),$k步轉移概率
3. $p_{ij}(n)=p_{ij}(n+1)=p_{ij}(n+2)=\cdots,$齊次馬氏鏈，轉移概率不隨時間發生變化
4. 轉移矩陣
   設狀態爲$\{0,1\},$從0轉移到1的概率爲p，從1轉移到0的概率爲q,那麼可以得到矩陣
   $\left[\begin{matrix}p&1-p\\q&1-q \end{matrix}\right]$其中行代表當前狀態，列代表下一時刻狀態

3.例題

3.1例一

求其一步轉移概率矩陣。
解：設第i個個體產生的後代數爲$\xi_{i}，$那麼我們可以得到$P(\xi_i=k)=p_k$一步轉移概率爲$p_{X_nX_{n+1}}(n)=P(\xi_1+\xi_2+\cdots+\xi_n=X_{n+1})$

3.2例二

證明：