马尔可夫链转移模型笔记
1. 状态转移概率矩阵 P
P=⎣⎡P00Pi0...P0jPij............⎦⎤
Pij表示 it→jt+1的概率
P[i,:]表示从it发出的所有的概率
P[:,j]表示所有到达jt+1的概率
2. 状态矩阵 S
S=⎣⎡S00Si0...S0jSij............⎦⎤
Sij表示 it−1→jt的概率
S[:,j]表示当前时刻t到达jt的总和 Sjt
S[i,:]表示起点是jinit的进过t步转移的分布
马尔可夫状态转移
St+1===St∗P⎣⎢⎢⎡S00t...Si0t...............S0jt...Sijt...............⎦⎥⎥⎤∗⎣⎢⎢⎡P00...Pi0...............P0j...Pij...............⎦⎥⎥⎤⎣⎢⎢⎢⎢⎡S00t+1......Si0t+1..................S0jt+1...Si−1jt+1Sijt+1..................⎦⎥⎥⎥⎥⎤
根据以上公式,经过 Δt 步之后在t+1时刻到达j的所有状态Sjt+1
Sjt+1==S0jt+1+S1jt+1+S2jt+1+...∑i→nSijt+1
S0jt+1==Si0tP0j+Si1tP1j+Si2tP2j+...∑k→nSiktPkj