馬爾可夫鏈轉移模型筆記

馬爾可夫鏈轉移模型筆記

1. 狀態轉移概率矩陣 $P$

$P = \begin{bmatrix} P_{00} & P_{0j} & ... \\ P_{i0} & P_{ij} & ... \\ ... & ... & ... \end{bmatrix}$
$P_{ij}$表示 $i^{t} \rightarrow j^{t+1}$的概率
$P[i,: ]$表示從$i^{t}$發出的所有的概率
$P[:,j ]$表示所有到達$j^{t+1}$的概率

2. 狀態矩陣 $S$

$S = \begin{bmatrix} S_{00} & S_{0j} & ... \\ S_{i0} & S_{ij} & ... \\ ... & ... & ... \end{bmatrix}$
$S_{ij}$表示 $i^{t-1} \rightarrow j^{t}$的概率
$S[:,j ]$表示當前時刻$t$到達$j^{t}$的總和 $S^{t}_{j}$
$S[i,: ]$表示起點是$j^{init}$的進過t步轉移的分佈

馬爾可夫狀態轉移

$\begin{matrix} S^{t+1} & = & S^{t}*P \\ & = & \begin{bmatrix} S_{00}^{t} &... & S_{0j}^{t} & ... \\ ... & ... & ... & ...\\ S_{i0}^{t} & ... & S_{ij}^{t} & ... \\ ... & ... & ... & ... \end{bmatrix} * \begin{bmatrix} P_{00} &... & P_{0j} & ... \\ ... & ... & ... & ...\\ P_{i0} & ... & P_{ij} & ... \\ ... & ... & ... & ... \end{bmatrix}\\ & = & \begin{bmatrix} S_{00}^{t+1} &... & S_{0j}^{t+1} & ... \\ ... & ... & ... & ...\\ ... & ... & S_{i-1j}^{t+1} & ...\\ S_{i0}^{t+1} & ... & S_{ij}^{t+1} & ... \\ ... & ... & ... & ... \end{bmatrix} \end{matrix}$
根據以上公式，經過 $\Delta t$ 步之後在$t+1$時刻到達$j$的所有狀態$S^{t+1}_{j}$

$\begin{matrix} S^{t+1}_{j} & = & S^{t+1}_{0j} + S^{t+1}_{1j} + S^{t+1}_{2j} + ... \\ & = & \sum^{i\rightarrow n} S^{t+1}_{ij} \end{matrix}$

$\begin{matrix} S^{t+1}_{0j} & = & S^{t}_{i0} P_{0j} + S^{t}_{i1} P_{1j}+ S^{t}_{i2} P_{2j} + ... \\ & = & \sum^{k\rightarrow n} S^{t}_{ik}P_{kj} \end{matrix}$