Coursea-吳恩達-machine learning學習筆記（九）【week 5之Neural Networks: Learning】

神經網絡模型存在訓練集：
{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}$\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(m)},y^{(m)})\}$

常用的符號表示：

• L$L$ ：神經網絡的層數；
• Sl$S_l$ ：第l$l$ 層的單元數(不包含偏置單元)；
• K$K$ ：輸出單元的數量。

神經網絡有兩種分類：

1. 二元分類
   y=0$y=0$ 或1$1$ ，只有1個輸出單元，hΘ(x)$h_{\mathrm{\Theta }}(x)$ 是一個實數，即SL=1$S_L=1$
2. 多類別分類(K$K$ 個不同類)
   K$K$ 個輸出單元，hΘ(x)$h_{\mathrm{\Theta }}(x)$ 是一個K$K$ 維向量，即SL=K(K⩾3)$S_L=K(K⩾3)$

神經網絡的代價函數：
hΘ(x)∈Rk$h_{\mathrm{\Theta }}(x)\in R^k$ ，(hΘ(x))i$(h_{\mathrm{\Theta }}(x){)}_i$ 爲第i$i$ 個輸出

J(Θ)=−1m[∑i=1m∑k=1Ky(i)klog((hΘ(x(i)))k)+(1−y(i)k)log(1−(hΘ(x(i)))k)]+λ2m∑l=1L−1∑i=1Sl∑j=1Sl+1(Θ(l)ji)2$J(\mathrm{\Theta })=-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log((h_{\mathrm{\Theta }}(x^{(i)}){)}_k)+(1-y_k^{(i)})log(1-(h_{\mathrm{\Theta }}(x^{(i)}){)}_k)]+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{S_l}\sum _{j=1}^{S_{l+1}}({\mathrm{\Theta }}_{ji}^{(l)}{)}^2$

當前Θ$\mathrm{\Theta }$ 矩陣的列數等於當前層的單元數(包括偏置單元)，當前Θ$\mathrm{\Theta }$ 矩陣的行數等於下一層的單元數(不包括偏置單元)。
上式中的雙重求和將輸出層的每個單元的邏輯迴歸代價相加，三重求和將整個網絡中的所有Θ$\mathrm{\Theta }$ 的平方相加

反向傳播算法：讓代價函數最小化的算法。
最小化J(Θ)$J(\mathrm{\Theta })$ ，我們需要計算J(Θ)$J(\mathrm{\Theta })$ ，∂∂Θ(l)ijJ(Θ)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{ij}^{(l)}}J(\mathrm{\Theta })$ 。

如上圖所示神經網絡，當只有1個訓練樣本(x,y)$(x,y)$ 時：
前向傳播算法：
⇒a(1)=x$\Rightarrow a^{(1)}=x$
⇒Z(2)=Θ(1)a(1)$\Rightarrow Z^{(2)}={\mathrm{\Theta }}^{(1)}{a}^{(1)}$
⇒a(2)=g(Z(2))(add a(2)0)$\Rightarrow a^{(2)}=g(Z^{(2)})(add{a}_0^{(2)})$
⇒Z(3)=Θ(2)a(2)$\Rightarrow Z^{(3)}={\mathrm{\Theta }}^{(2)}{a}^{(2)}$
⇒a(3)=g(Z(3))(add a(3)0)$\Rightarrow a^{(3)}=g(Z^{(3)})(add{a}_0^{(3)})$
⇒Z(4)=Θ(3)a(3)$\Rightarrow Z^{(4)}={\mathrm{\Theta }}^{(3)}{a}^{(3)}$
⇒a(4)=hΘ(x)=g(Z(4))$\Rightarrow a^{(4)}=h_{\mathrm{\Theta }}(x)=g(Z^{(4)})$
反向傳播算法：
δ(l)j${\delta }_j^{(l)}$ ：l$l$ 層第j$j$ 個單元的誤差
以上圖爲例：⇒δ(4)j=a(4)j−yj$\Rightarrow {\delta }_j^{(4)}=a_j^{(4)}-y_j$
注：此處a(4)j$a_j^{(4)}$ 等同於(hΘ(x))j$(h_{\mathrm{\Theta }}(x){)}_j$ ，yj$y_j$ 即輸出向量的第j$j$ 個元素值
將上式向量化：⇒δ(4)=a(4)−y$\Rightarrow {\delta }^{(4)}=a^{(4)}-y$
⇒δ(3)=(Θ(3))Tδ(4).∗g′(Z(3))g′(Z(3))$\Rightarrow {\delta }^{(3)}=({\mathrm{\Theta }}^{(3)}{)}^T{\delta }^{(4)}.\ast g^{\prime }(Z^{(3)})g^{\prime }(Z^{(3)})$ 爲g(Z(3))$g(Z^{(3)})$ 的導數且g′(Z(3))=a(3).∗(1−a(3))$g^{\prime }(Z^{(3)})=a^{(3)}.\ast (1-a^{(3)})$
⇒δ(2)=(Θ(2))Tδ(3).∗g′(Z(2))g′(Z(2))$\Rightarrow {\delta }^{(2)}=({\mathrm{\Theta }}^{(2)}{)}^T{\delta }^{(3)}.\ast g^{\prime }(Z^{(2)})g^{\prime }(Z^{(2)})$ 爲g(Z(2))$g(Z^{(2)})$ 的導數且g′(Z(2))=a(2).∗(1−a(2))$g^{\prime }(Z^{(2)})=a^{(2)}.\ast (1-a^{(2)})$
⇒∂∂Θ(l)ijJ(Θ)=a(l)jδ(l+1)i$\Rightarrow \frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{ij}^{(l)}}J(\mathrm{\Theta })=a_j^{(l)}{\delta }_i^{(l+1)}$ (忽略λ$\lambda$ 正則化項)

當有m$m$ 個訓練樣本{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}$\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(m)},y^{(m)})\}$ 時：
設Δ(l)ij=0(for all l,i,j)${\mathrm{\Delta }}_{ij}^{(l)}=0(foralll,i,j)$ (注：Δ$\mathrm{\Delta }$ 是δ$\delta$ 的大寫)
⇒fori=1tom:$\Rightarrow fori=1tom:$
⇒$\Rightarrow$ 設a(1)=x(i)$a^{(1)}=x^{(i)}$
⇒$\Rightarrow$ 利用前向傳播算法計算a(l)(for l=2,3⋯L)$a^{(l)}(forl=2,3\cdots L)$
⇒$\Rightarrow$ 用y(i)$y^{(i)}$ ，計算δ(L)=a(L)−y(i)${\delta }^{(L)}=a^{(L)}-y^{(i)}$
⇒$\Rightarrow$ 計算δ(L−1),δ(L−2),⋯,δ(2)${\delta }^{(L-1)},{\delta }^{(L-2)},\cdots ,{\delta }^{(2)}$ (注：δ(l)=((Θ(l))Tδ(l+1)).∗a(l).∗(1−a(l))${\delta }^{(l)}=(({\mathrm{\Theta }}^{(l)}{)}^T{\delta }^{(l+1)}).\ast a^{(l)}.\ast (1-a^{(l)})$ )
⇒Δ(l)ij:=Δ(l)ij+a(l)jδ(l+1)$\Rightarrow {\mathrm{\Delta }}_{ij}^{(l)}:={\mathrm{\Delta }}_{ij}^{(l)}+a_j^{(l)}{\delta }^{(l+1)}$ 向量化該式：Δ(l):=Δ(l)+δ(l+1)(a(l))T${\mathrm{\Delta }}^{(l)}:={\mathrm{\Delta }}^{(l)}+{\delta }^{(l+1)}(a^{(l)}{)}^T$ (注：此處應去掉δ(l+1)0${\delta }_0^{(l+1)}$ )
⇒ $\Rightarrow$ (跳出循環)
⇒ D(l)ij:=1m(Δ(l)ij+λΘ(l)ij)if j≠0$\Rightarrow D_{ij}^{(l)}:=\frac{1}{m}({\mathrm{\Delta }}_{ij}^{(l)}+\lambda {\mathrm{\Theta }}_{ij}^{(l)})ifj\ne 0$
⇒ D(l)ij:=1mΔ(l)ijif j=0$\Rightarrow D_{ij}^{(l)}:=\frac{1}{m}{\mathrm{\Delta }}_{ij}^{(l)}ifj=0$
⇒ $\Rightarrow$ (注：Θ(l)${\mathrm{\Theta }}^{(l)}$ 的第1列不正則化，上式可以向量化去掉ij$ij$ )
⇒ ∂∂Θ(l)ijJ(Θ)=D(l)ij$\Rightarrow \frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{ij}^{(l)}}J(\mathrm{\Theta })=D_{ij}^{(l)}$

對於只有一個輸出單元的神經網絡：δ(l)j${\delta }_j^{(l)}$ 爲a(l)j$a_j^{(l)}$ (l$l$ 層第j$j$ 個單元)的代價誤差；
更正式的表達：δ(l)j=∂∂Z(l)jcost(i)(j⩾0)${\delta }_j^{(l)}=\frac{\mathrm{\partial }}{\mathrm{\partial }{Z}_j^{(l)}}cost(i)(j⩾0)$ 其中，cost(i)=y(i)log(hΘ(x(i)))+(1−y(i))log(1−hΘ(x(i)))$cost(i)=y^{(i)}log(h_{\mathrm{\Theta }}(x^{(i)}))+(1-y^{(i)})log(1-h_{\mathrm{\Theta }}(x^{(i)}))$

利用高級最優化算法最小化J(Θ)$J(\mathrm{\Theta })$ ：

function[jVal,gradient] = costFunction(theta)
...
optTheta = fminunc(@costFunction,initialTheta,options)

這種方法中，theta,gradient$theta,gradient$ 值均爲向量。

對於神經網絡(4層爲例)：
Θ(1),Θ(2),Θ(3)${\mathrm{\Theta }}^{(1)},{\mathrm{\Theta }}^{(2)},{\mathrm{\Theta }}^{(3)}$ —-矩陣(Theta1,Theta2,Theta3$Theta1,Theta2,Theta3$ )
D(1),D(2),D(3)$D^{(1)},D^{(2)},D^{(3)}$ —-矩陣(D1,D2,D3$D1,D2,D3$ )
爲了使用優化算法，需要將矩陣展開成向量：

thetaVector = [Theta1(:);Theta2(:);Theta3(:)];
deltaVector = [D1(:);D2(:);D3(:)];

如果Theta1$Theta1$ 的維度爲10×11$10\times 11$ ，Theta2$Theta2$ 的維度爲10×11$10\times 11$ ，Theta3$Theta3$ 的維度爲1×11$1\times 11$ ，則從向量中返回矩陣的方法如下：

Theta1 = reshape(thetaVector(1:110),10,11);
Theta2 = reshape(thetaVector(111:220),10,11);
Theta3 = reshape(thetaVector(221:231),1,11);

總結：有初始參數Θ(1),Θ(2),Θ(3)${\mathrm{\Theta }}^{(1)},{\mathrm{\Theta }}^{(2)},{\mathrm{\Theta }}^{(3)}$ ,展開後獲得initialTheta$initialTheta$ ，傳值給：

fminunc(@costFunction,initialTheta,options)

function[jVal,gradientVec] = costFunction(thetaVec)

上面代價函數costFunction$costFunction$ 內的具體步驟如下：
⇒ $\Rightarrow$ 從thetaVec$thetaVec$ 中得到Θ(1),Θ(2),Θ(3)${\mathrm{\Theta }}^{(1)},{\mathrm{\Theta }}^{(2)},{\mathrm{\Theta }}^{(3)}$ ；
⇒ $\Rightarrow$ 使用前向傳播及反向傳播算法計算D(1),D(2),D(3)$D^{(1)},D^{(2)},D^{(3)}$ 及J(Θ)$J(\mathrm{\Theta })$ ；
⇒ $\Rightarrow$ 展開D(1),D(2),D(3)$D^{(1)},D^{(2)},D^{(3)}$ 獲得gradientVec$gradientVec$ 。

梯度檢測：可以減少梯度下降存在錯誤的風險。
θ∈Rn$\theta \in R^n$ (θ$\theta$ 是Θ(1),Θ(2),Θ(3)${\mathrm{\Theta }}^{(1)},{\mathrm{\Theta }}^{(2)},{\mathrm{\Theta }}^{(3)}$ 的展開向量)
θ=θ1,θ2,θ3,⋯,θn$\theta ={\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_n$
由於∂∂ΘJ(Θ)≈J(Θ+ϵ)−J(Θ−ϵ)2ϵ$\frac{\mathrm{\partial }}{\mathrm{\partial }\mathrm{\Theta }}J(\mathrm{\Theta })\approx \frac{J(\mathrm{\Theta }+ϵ)-J(\mathrm{\Theta }-ϵ)}{2ϵ}$ (ϵ$ϵ$ 取10−4${10}^{-4}$ 即可)
所以：
∂∂θ1J(Θ)≈J(θ1+ϵ,θ2,θ3,⋯,θn)−J(θ1−ϵ,θ2,θ3,⋯,θn)2ϵ$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_1}J(\mathrm{\Theta })\approx \frac{J({\theta }_1+ϵ,{\theta }_2,{\theta }_3,\cdots ,{\theta }_n)-J({\theta }_1-ϵ,{\theta }_2,{\theta }_3,\cdots ,{\theta }_n)}{2ϵ}$
∂∂θ2J(Θ)≈J(θ1,θ2+ϵ,θ3,⋯,θn)−J(θ1,θ2−ϵ,θ3,⋯,θn)2ϵ$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_2}J(\mathrm{\Theta })\approx \frac{J({\theta }_1,{\theta }_2+ϵ,{\theta }_3,\cdots ,{\theta }_n)-J({\theta }_1,{\theta }_2-ϵ,{\theta }_3,\cdots ,{\theta }_n)}{2ϵ}$
⋯$\cdots$
∂∂θnJ(Θ)≈J(θ1,θ2,θ3,⋯,θn+ϵ)−J(θ1,θ2,θ3,⋯,θn−ϵ)2ϵ$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_n}J(\mathrm{\Theta })\approx \frac{J({\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_n+ϵ)-J({\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_n-ϵ)}{2ϵ}$

Octave$Octave$ 中的實現代碼如下：

EPSILON = 1e-4;
for i = 1:n,
    thetaPlus = theta;
    thetaPlus(i) = thetaPlus(i) + EPSILON;
    thetaMinus = theta;
    thetaMinus(i) = thetaMinus(i) + EPSILON;
    gradApprox(i) = (J(thetaPlus)-J(thetaMinus))/(2*EPSILON);
end;

check gradApprox≈Dvec$checkgradApprox\approx Dvec$

梯度檢測總結：

1. 利用反向傳播算法計算Dvec$Dvec$ (D(1),D(2),D(3)$D^{(1)},D^{(2)},D^{(3)}$ 的展開)；
2. 利用梯度檢測算法計算gradApprox$gradApprox$ ；
3. 確保兩者相近；
4. 關閉梯度檢測算法，用反向傳播算法學習。

確保在開始訓練模型之前關閉梯度檢測算法，否則運算會很慢。

隨機初始化：
當使用梯度下降或高級優化算法時，需要設置初始值：

optTheta = fminunc(@costFunction,initialTheta,options);

對於神經網絡來說，若θ$\theta$ 全初始化爲0，當進行反向傳播算法時，所有的單元會更新成相同的值，故採用下列代碼進行隨機初始化：θ(l)ij∈[−ϵ,ϵ]${\theta }_{ij}^{(l)}\in [-ϵ,ϵ]$
如果Theta1$Theta1$ 爲10×11$10\times 11$ 矩陣，Theta2$Theta2$ 爲10×11$10\times 11$ 矩陣，Theta3$Theta3$ 爲1×11$1\times 11$ 矩陣：

Theta1 = rand(10,11)*(2*INIT_EPSILON)-INIT_EPSILON;
Theta2 = rand(10,11)*(2*INIT_EPSILON)-INIT_EPSILON;
Theta3 = rand(1,11)*(2*INIT_EPSILON)-INIT_EPSILON;

rand(x,y)$rand(x,y)$ 爲生成x×y$x\times y$ 矩陣，元素值∈(0,1)$\in (0,1)$ ；
此處EPSILON$EPSILON$ 與梯度檢測時的不同，可以取0.12$0.12$ 。

總體總結：

訓練神經網絡的步驟：

1. 搭建網絡架構(即神經元連接方式)；
   輸入層單元數：特徵集x(i)$x^{(i)}$ 的維度
   輸出層單元數：分類的類別數
   如果y∈{1,2,3,⋯,10}$y\in \{1,2,3,\cdots ,10\}$ ，要將其改寫成向量y=⎡⎣⎢⎢⎢⎢⎢⎢⎢100⋮0⎤⎦⎥⎥⎥⎥⎥⎥⎥or⎡⎣⎢⎢⎢⎢⎢⎢⎢010⋮0⎤⎦⎥⎥⎥⎥⎥⎥⎥or⎡⎣⎢⎢⎢⎢⎢⎢⎢001⋮0⎤⎦⎥⎥⎥⎥⎥⎥⎥⋯⎡⎣⎢⎢⎢⎢⎢⎢⎢000⋮1⎤⎦⎥⎥⎥⎥⎥⎥⎥$y=\left[\begin{array}{c}1\\ 0\\ 0\\ ⋮\\ 0\end{array}\right]or\left[\begin{array}{c}0\\ 1\\ 0\\ ⋮\\ 0\end{array}\right]or\left[\begin{array}{c}0\\ 0\\ 1\\ ⋮\\ 0\end{array}\right]\cdots \left[\begin{array}{c}0\\ 0\\ 0\\ ⋮\\ 1\end{array}\right]$
   默認規則：推薦設置一個隱藏層，如果隱藏層>1$>1$ ，則每個隱藏層包含相同數目的單元，對於單層的具體單元數，越多越好，但越多計算量越大，一般隱藏層單元數稍大於特徵數都可以接受；
2. 隨機初始化權重，將權重初始化爲很小的值，接近於0；
3. 執行前向傳播算法，獲取每個輸入x(i)$x^{(i)}$ 對應的hΘ(x(i))$h_{\mathrm{\Theta }}(x^{(i)})$ ；
4. 利用代碼計算代價函數J(Θ)$J(\mathrm{\Theta })$ ；
5. 執行反向傳播算法計算∂∂Θ(l)jkJ(Θ)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{jk}^{(l)}}J(\mathrm{\Theta })$ ：
   for i=1:m,$fori=1:m,$
   {$\{$
   $$ 執行前向傳播算法和反向傳播算法利用(x(i),y(i))$(x^{(i)},y^{(i)})$ 獲取激勵a(l)$a^{(l)}$ 和誤差δ(l) (for l=2,⋯,L)${\delta }^{(l)}(forl=2,\cdots ,L)$
   Δ(l):=Δ(l)+δ(l+1)(a(l))T${\mathrm{\Delta }}^{(l)}:={\mathrm{\Delta }}^{(l)}+{\delta }^{(l+1)}(a^{(l)}{)}^T$
   }$\}$
   計算∂∂Θ(l)jkJ(Θ)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{jk}^{(l)}}J(\mathrm{\Theta })$ ；
6. 利用梯度檢測比較反向傳播算法計算得到的∂∂Θ(l)jkJ(Θ)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{jk}^{(l)}}J(\mathrm{\Theta })$ 和通過J(Θ)$J(\mathrm{\Theta })$ 梯度下降數值計算得到的∂∂Θ(l)jkJ(Θ)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{jk}^{(l)}}J(\mathrm{\Theta })$ ，然後註釋掉梯度檢測的代碼；
7. 利用梯度下降或最優化算法最小化J(Θ)$J(\mathrm{\Theta })$ ，得到參數Θ$\mathrm{\Theta }$ 。
   注：對於神經網絡，J(Θ)$J(\mathrm{\Theta })$ 是一個非凸函數，通常得到局部最小值。