統計學習方法 第十一章習題答案

習題11.1

寫出圖11.3中無向圖描述的概率圖模型的因子分解式。

解答
$P(Y_1,Y_2,Y_3,Y_4)=\frac{1}{Z} \psi_{c_1}(Y_1,Y_2,Y_3) \psi_{c_2}(Y_2,Y_3,Y_4)$
$Z=\sum_Y\psi_{c_1}(Y_1,Y_2,Y_3) \psi_{c_2}(Y_2,Y_3,Y_4)$

習題 11.2

證明$Z(x)=\alpha_{n}^{\mathrm{T}}(x) \cdot 1=1^{\mathrm{T}} \cdot \beta_{0}(x)$，其中1是元素均爲1的m維列向量。
解答
本式子出現在書的199頁11.3.1前向-後向算法這一小節
PS：書中是$\beta_1(x)$，但是我個人覺得這兒應該是$\beta_0(x)$
$Z(x)=(M_1(x)M_2(x)...M_{n+1}(x))_{start,stop}$即$M_1(x)M_2(x)...M_{n+1}(x)$得到的結果矩陣$M$(mm維度)的$(start,stop)$位置的元素。其中$M_{n+1}(x)$爲m*m維度的矩陣，但是隻有stop列爲1，其餘爲0。或者說$Z(x)$的值爲$M_1(x)M_2(x)...M_{n}(x)$結果矩陣$M'$的start行的所有元素之和。
$\alpha_{n}^{\mathrm{T}}(x) \cdot 1\\=\alpha_{n-1}^{\mathrm{T}}(x)M_n(x) \cdot 1\\=\alpha_{n-2}^{\mathrm{T}}(x)M_{n-1}(x)M_n(x) \cdot 1\\=...\\=\alpha^T_0(x) M_1(x)M_2(x)...M_n(x)\cdot 1\\=Z(x)$
說明：$\alpha^T_0(x) M_1(x)M_2(x)...M_n(x)$得到的是1m維度的行向量，其值爲$M_1(x)M_2(x)...M_{n}(x)$的$start$行的元素，將其與1是元素均爲1的m維列向量點乘，得到的即爲$M_1(x)M_2(x)...M_{n+1}(x)$的$(start,stop)$位置的元素值。

$1^{\mathrm{T}} \cdot \beta_{0}(x)\\=1^T\cdot M_1(x)\beta_1(x)\\=...\\=1^T\cdot M_1(x)M_2(x)M_3(x)...M_n(x)\cdot \beta_{n+1}(x)\\=Z(x)$
說明：同理，$M_1(x)M_2(x)M_3(x)...M_n(x)\cdot \beta_{n+1}(x)$得到的是列向量，其每個值爲$M_1(x)M_2(x)...M_{n}(x)$的對應的一行元素之和（除了start列處，其餘元素爲0，與$1^T$點乘後得到的即爲$M_1(x)M_2(x)...M_{n+1}(x)$的$(start,stop)$位置的元素值。

習題11.3

寫出條件隨機場模型學習的梯度下降法.
參考Blog

習題11.4

參考圖11.6的狀態路徑圖，假設隨機矩陣$M_1(x),M_2(x),M_3(x),M_4(x)$分別是
$M_{1}(x)=\left[\begin{array}{cc}0 & 0 \\ 0.5 & 0.5\end{array}\right], \quad M_{2}(x)=\left[\begin{array}{cc}0.3 & 0.7 \\ 0.7 & 0.3\end{array}\right]$
$M_{3}(x)=\left[\begin{array}{cc}0.5 & 0.5 \\ 0.6 & 0.4\end{array}\right], \quad M_{4}(x)=\left[\begin{array}{cc}0 & 1 \\ 0 & 1\end{array}\right]$
求以start=2爲起點stop=2爲終點的所有路徑的狀態序列y的概率及概率最大的狀態序列.
解答
$y=(1,1,1)=a_{21}b_{11}c_{11}=0.5*0.3*0.5=0.075$
$y=(1,1,2)=a_{21}b_{11}c_{12}=0.5*0.3*0.5=0.075$
$y=(1,2,1)=a_{21}b_{12}c_{21}=0.5*0.7*0.6=0.21$（最大）
$y=(1,2,2)=a_{21}b_{12}c_{22}=0.5*0.7*0.4=0.14$
$y=(2,1,1)=a_{22}b_{21}c_{11}=0.5*0.7*0.5=0.175$
$y=(2,1,2)=a_{22}b_{21}c_{12}=0.5*0.7*0.5=0.175$
$y=(2,2,1)=a_{22}b_{22}c_{21}=0.5*0.3*0.6=0.09$
$y=(2,2,2)=a_{22}b_{22}c_{22}=0.5*0.3*0.4=0.06$