多層神經網絡BP算法解釋

# 多層神經網絡BP算法解釋 ## 前向傳播 *** * 該項目採用反向傳播算法描述了多層神經網絡的教學過程。 爲了說明這個過程，使用了具有兩個輸入和一個輸出的三層神經網絡，如下圖所示:

---

• 每個神經元由兩個單元組成。
• 第一單元添加權重係數和輸入信號的乘積。
• 第二個單元實現非線性功能，稱爲神經元激活功能。
• 信號 e$e$ 是加法器輸出信號.
• y=f(e)$y=f(e)$ 是非線性元件的輸出信號。
• 信號 y$y$ 也是神經元的輸出信號。

---

• 訓練數據由（期望輸出）z$z$ 和輸入信號 x1$x_1$ 和 x2$x_2$ 組成。
• 神經網絡訓練是一個迭代過程。 在每次迭代中，使用來自訓練數據集的新數據來修改節點的權重係數 w$w$ 。
• 使用下面描述的算法計算修改：每個教學步驟從強制來自訓練集的兩個輸入信號開始。 在此階段之後，我們可以確定每個網絡層中每個神經元的輸出信號值。
• 下面的圖片說明了信號如何通過網絡傳播，符號w（xm）n$w_{（xm）n}$ 表示輸入層中網絡輸入xm$xm$ 和神經元n$n$ 之間的連接權重。 符號yn$y_n$ 表示神經元n$n$ 的輸出信號。

y1=f1(w(x1)1∗x1+w(x2)1∗x2)$$y_1=f_1(w_{(x_1)1}\ast x_1+w_{(x_2)1}\ast x_2)$$

y2=f2(w(x1)2∗x1+w(x2)2∗x2)$$y_2=f_2(w_{(x_1)2}\ast x_1+w_{(x_2)2}\ast x_2)$$

y3=f3(w(x1)3∗x1+w(x2)3∗x2)$$y_3=f_3(w_{(x_1)3}\ast x_1+w_{(x_2)3}\ast x_2)$$

* 其中 f()$f()$ 函數可以是 sigmod$sigmod$ 函數

ex.f(z)=11+e−z$$ex.f(z)=\frac{1}{1+e^{-z}}$$

/div> *** * 通過隱藏層傳播信號。 * 符號wmn$w_{mn}$ 表示下一層中神經元m$m$ 的輸出與神經元n$n$ 的輸入之間的連接的權重。

## BP網絡 *** * 將神經網絡的輸出信號y^$\hat{y}$ 與在訓練數據集中找到的真實值（y$y$ ）進行比較。 該差異被稱爲輸出層神經元的誤差信號δ$\delta$ 。

δ=y−y^$$\delta =y-\hat{y}$$

與下圖片對應關係爲 y=z$y=z$ ,y^=y$\hat{y}=y$

---

• 無法計算直接計算隱藏層的真實值和誤差，因爲該過程在實際生產中不存在，或不可得。

• 爲此，八十年代中期，提出了 BP算法

  ---

• 上一條是重點，重點，重點。

• 注意 下圖公式有誤 ，正確表達爲
• δ4=w46∗δ∗df6(e)de=−w46∗δ∗y^∗(1−y^)$${\delta }_4=w_{46}\ast \delta \ast \frac{\mathrm{d}{f}_6(e)}{\mathrm{d}e}=-w_{46}\ast \delta \ast \hat{y}\ast (1-\hat{y})$$
• 其他的同類表達式也需要類似的修改，請注意。
• 對於有多條邊連接的節點，δ$\delta$ 爲每條邊結果的和。

---

---

• 獲得每個神經元的誤差信號後，可以利用誤差來修改每個神經元輸入節點的權重係數。
• 下面的公式
  
  ∂(δ2)∂e=∂(y−y^)2∂e=−(y−y^)∗y^∗(1−y^)$$\frac{\mathrm{\partial }({\delta }^2)}{\mathrm{\partial }e}=\frac{\mathrm{\partial }(y-\hat{y}{)}^2}{\mathrm{\partial }e}=-(y-\hat{y})\ast \hat{y}\ast (1-\hat{y})$$
  
  表示神經元激活函數的導數     殘差   。
• δ2${\delta }^2$ 即爲   損失函數
• 又因爲對dedθ$\frac{\mathrm{d}e}{\mathrm{d}\theta }$ 有
• dedθ=∂θTx∂θ=x$$\frac{\mathrm{d}e}{\mathrm{d}\theta }=\frac{\mathrm{\partial }{\theta }^{T}x}{\mathrm{\partial }\theta }=x$$
• 由於鏈式法則：

• ∂(δ2)∂θ=∂(y−y^)2∂ededθ=−(y^−y)∗y^∗(1−y^)∗x=−δ∗y^∗(1−y^)∗x$$\frac{\mathrm{\partial }({\delta }^2)}{\mathrm{\partial }\theta }=\frac{\mathrm{\partial }(y-\hat{y}{)}^2}{\mathrm{\partial }e}\frac{\mathrm{d}e}{\mathrm{d}\theta }=-(\hat{y}-y)\ast \hat{y}\ast (1-\hat{y})\ast x=-\delta \ast \hat{y}\ast (1-\hat{y})\ast x$$

• y^$\hat{y}$ 表示輸出值

• y$y$ 表示真實值
• x$x$ 代表上一層的輸出或者原始的輸入
• δ$\delta$ 表示誤差 這裏用到了上一節BP中的假設
• 通過這部分化簡，我們利用誤差δ$\delta$ 代替了的y−y^$y-\hat{y}$ 從而避開了隱藏層中的未知量y$y$
• 最後利用標準的* 梯度下降公式*:
  
  w^=w−η∗∇=w+η∗δ∗y^∗(1−y^)∗x=w+η∗δ∗∂y∂e∗x$$\hat{w}=w-\eta \ast \mathrm{\nabla }=w+\eta \ast \delta \ast \hat{y}\ast (1-\hat{y})\ast x=w+\eta \ast \delta \ast \frac{\mathrm{\partial }y}{\mathrm{\partial }e}\ast x$$

---

---

轉載請註明出處，csdn的markdown還是很迷的。

參考

參考資料來源