前向傳播算法和反向傳播算法

  最近在看神經網絡中的前向傳播算法(FP)和反向傳播算法(BP)，特地進行總結一下，方便以後理解。

1.基本概念

  上圖是一張自己畫的神經網絡的圖。假設每一層都添加了偏度單元（即值爲1的神經元），用來表示閥值（因爲閥值通常是一個常數）。

  上圖中{x1,x2,x3}$\{x_1,x_2,x_3\}$ 表示輸入（假設其中添加了偏度單元，後面不再重複），wij(k)$wij(k)$ 表示聯結權重，其中i$i$ 表示每次輸入中的第i$i$ 個元素，j$j$ 表示經過聯結權重處理之後的輸出中的第j$j$ 個元素，k$k$ 指明是第k$k$ 層到第(k+1)$(k+1)$ 層之間的聯結權重。aij$a_{ij}$ 表示經過聯結權重處理後的輸出，其中i$i$ 表示第i$i$ 層，j表示第j$j$ 個輸出;H(x)$H(x)$ 表示激活函數，Zij$Z_{ij}$ 表示aij$a_{i}j$ 經過激活函數處理之後的輸出，即Zij=H(aij)$Z_{ij}=H(a_{ij})$ 。{y1,y2,y3}$\{y_1,y_2,y_3\}$ 表示經過神經網絡處理之後最終的輸出。

  其中

aij=∑k=1Nwkj(i−1)z(i−1)k$$a_{ij}=\sum _{k=1}^N{w}_{kj(i-1)}{z}_{(i-1)k}$$

其中i$i$ 表示第i$i$ 層，j$j$ 表示第j$j$ 個元素，N$N$ 表示總輸入個數，z$z$ 表示輸入，對於輸入層{x1,x2,x3}$\{x_1,x_2,x_3\}$ 可以表示爲{z11,z12,z13}$\{z_{11},z_{12},z_{13}\}$ 。例如上圖中有:
    a31=w11(2)∗z21+w21(2)∗z22+w31(2)∗z23$a_{31}=w_{11}(2)\ast z_{21}+w_{21}(2)\ast z_{22}+w_{31}(2)\ast z_{23}$

2.前向傳播算法

  前向傳播算法，顧名思義，是由前往後進行的一個算法。最開始，我們會初始化一組w$w$ 的取值，並且選定一個激活函數，爲了後面的方便，我們假設選定sigmoid$sigmoid$ 函數作爲函數，其函數形式爲：

H(x)=ginmoid(x)=11+e−x$$H(x)=ginmoid(x)=\frac{1}{1+e^{-x}}$$

並且它的導數爲H′(x)=H(x)(1−H(x))$H^{\mathrm{\prime }}(x)=H(x)(1-H(x))$ 。

  有了聯結權重w$w$ 和激活函數H(x)$H(x)$ 之後，就可以由前往後計算，依次算出所有的a$a$ 值，z$z$ 值，最終算出輸出層的y$y$ 值。這就是前向傳播算法。

3.反向傳播算法

  前面用初始化的聯結權重計算的輸出層值和實際值肯定會有很大的偏差，我們需要對連接權重進行優化，此時就需要使用反向傳播算法。

  現在假設經過前向傳播算法計算的某個輸出值爲yk$y_k$ ，表示輸出層的第k$k$ 個輸出，而其實際的值爲tk$t_k$ （訓練樣本的標籤值是已知的，不然怎麼訓練）。那麼誤差函數定義如下：

E=12∑k(yk−tk)2$$E=\frac{1}{2}\sum _k(y_k-t_k{)}^2$$

後向傳播算法是通過梯度下降的方法對聯結權重進行優化，所以需要計算誤差函數對聯結權重的偏導數。

  對於和輸出層直接關聯的連接權重，即上圖中的wij(3)$w_{ij}(3)$ ，簡稱爲w(3)$w(3)$ ，對其求偏導有：

∂E∂w(3)=∂E∂yk∗∂yk∂a4d∗∂a4d∂w(3)=(yk−tk)∗H′(a4d)∗z3$$\frac{\mathrm{\partial }E}{\mathrm{\partial }w(3)}=\frac{\mathrm{\partial }E}{\mathrm{\partial }{y}_k}\ast \frac{\mathrm{\partial }{y}_k}{\mathrm{\partial }{a}_{4d}}\ast \frac{\mathrm{\partial }{a}_{4d}}{\mathrm{\partial }w(3)}=(y_k-t_k)\ast H^{\mathrm{\prime }}(a_{4d})\ast z_3$$

例如圖中，假設僅僅計算y1$y_1$ 的輸出偏差對w11(3)$w_{11}(3)$ 的偏導數:

∂E∂w11(3)=∂E∂y1∗∂y1∂a41∗∂a41∂w11(3)=(y1−t1)∗H′(a41)∗z31$$\frac{\mathrm{\partial }E}{\mathrm{\partial }{w}_{11}(3)}=\frac{\mathrm{\partial }E}{\mathrm{\partial }{y}_1}\ast \frac{\mathrm{\partial }{y}_1}{\mathrm{\partial }{a}_{41}}\ast \frac{\mathrm{\partial }{a}_{41}}{\mathrm{\partial }{w}_{11}(3)}=(y_1-t_1)\ast H^{\mathrm{\prime }}(a_{41})\ast z_{31}$$

其中因爲a41=w11(3)∗z31+w21(3)∗z32+w31(3)∗z33$a_{41}=w_{11}(3)\ast z_{31}+w_{21}(3)\ast z_{32}+w_{31}(3)\ast z_{33}$ ，當a$a$ 對w$w$ 求偏導數時，僅僅有一項z$z$ 和對應的w$w$ 相乘得到a$a$ ，所以求導結果便是某個z$z$ ，請結合上面例子理解。

  1.對於和輸出層直連的wij(k)$w_{ij}(k)$有:

∂E∂wij(k)=∂E∂a(k+1)j∗∂a(k+1)j∂wij(k)$$\frac{\mathrm{\partial }E}{\mathrm{\partial }{w}_{ij}(k)}=\frac{\mathrm{\partial }E}{\mathrm{\partial }{a}_{(k+1)j}}\ast \frac{\mathrm{\partial }{a}_{(k+1)j}}{\mathrm{\partial }{w}_{ij}(k)}$$

我們假設∂E∂a(k+1)j≡δk+1$\frac{\mathrm{\partial }E}{\mathrm{\partial }{a}_{(k+1)j}}\equiv {\delta }^{k+1}$ ,並且有∂a(k+1)j∂wij(k)=zkj$\frac{\mathrm{\partial }{a}_{(k+1)j}}{\mathrm{\partial }{w}_{ij}(k)}=z_{kj}$ ，那麼有:

∂E∂wij(k)=δk+1∗zkj(公式3.1)$$\frac{\mathrm{\partial }E}{\mathrm{\partial }{w}_{ij}(k)}={\delta }^{k+1}\ast z_{kj}(公式3.1)$$

由於zkj$z_{kj}$ 在前向傳播算法中就已經可以求得，所以重點是求解各層的δ$\delta$ ,以便獲得對w$w$ 的偏導，用於梯度下降過程中w$w$ 的更新。

  2.對於隱藏層的wij(k)$w_{ij}(k)$ ，我們無法直接知道該層該層的損失爲多少，需要由後面傳播過來，這就是反向傳播的原理。這裏假設輸出層(第k+1層)共有j$j$ 個神經元，第k層有i$i$ 個神經元，第(k-1)層有l$l$ 個神經元；與輸出層相連的w$w$ 爲wij(k)$w_{ij}(k)$ ，和輸出層最近的隱藏層的w$w$ 爲wli(k−1)$w_{li}(k-1)$ ，表示該層(k−1$k-1$ 層)共有l$l$ 個神經元。則輸出誤差對該層w$w$ 的偏導數爲:

∂E∂wli(k−1)=∂E∂aki∗∂aki∂wli(k−1)=δk∗z(k−1)i(公式3.2)$$\frac{\mathrm{\partial }E}{\mathrm{\partial }{w}_{li}(k-1)}=\frac{\mathrm{\partial }E}{\mathrm{\partial }{a}_{ki}}\ast \frac{\mathrm{\partial }{a}_{ki}}{\mathrm{\partial }{w}_{li}(k-1)}={\delta }^k\ast z_{(k-1)i}(公式3.2)$$

又：

∂E∂wli(k−1)=∑j∂E∂a(k+1)j∗∂a(k+1)j∂zki∗∂zki∂aki∗∂aki∂wli(k−1)$$\frac{\mathrm{\partial }E}{\mathrm{\partial }{w}_{li}(k-1)}=\sum _j\frac{\mathrm{\partial }E}{\mathrm{\partial }{a}_{(k+1)j}}\ast \frac{\mathrm{\partial }{a}_{(k+1)j}}{\mathrm{\partial }{z}_{ki}}\ast \frac{\mathrm{\partial }{z}_{ki}}{\mathrm{\partial }{a}_{ki}}\ast \frac{\mathrm{\partial }{a}_{ki}}{\mathrm{\partial }{w}_{li}(k-1)}$$

即=：

∂E∂wli(k−1)=∑jδk+1∗wij(k)∗H′(a(k+1)j)∗z(k−1)i(公式3.3)$$\frac{\mathrm{\partial }E}{\mathrm{\partial }{w}_{li}(k-1)}=\sum _j{\delta }^{k+1}\ast w_{ij}(k)\ast H^{\mathrm{\prime }}(a_{(k+1)j})\ast z_{(k-1)i}(公式3.3)$$

將公式3.2和公式3.3進行對比，可以發現：

δk=H′(a(k+1)j)∗∑jδk+1∗wij(k)(公式3.4)$${\delta }^k=H^{\mathrm{\prime }}(a_{(k+1)j})\ast \sum _j{\delta }^{k+1}\ast w_{ij}(k)(公式3.4)$$

所以就可以由後面的δ$\delta$ 推出前面的δ$\delta$ ，即用δk+1${\delta }^{k+1}$ 推出δk${\delta }^k$ ，依次類推，就可以求出每一層對應的δ$\delta$ ，又根據公式3.1，就可以求解出誤差對每一層聯結權重w(k)$w(k)$ 的偏導數，再利用如下公式利用梯度下降法更新權重：

wm+1=wm+α∂E∂w$$w_{m+1}=w_m+\alpha \frac{\mathrm{\partial }E}{\mathrm{\partial }w}$$

其中m表示第m輪迭代，(m+1)表示第(m+1)輪迭代。

  所以反向傳播算法就是，先根據輸出層的誤差，計算出輸出層對應的δ$\delta$ ，然後再依次反向往前推出隱藏層的δ$\delta$ 。看公式3.4你會發現，其實第k$k$ 層的某個δk${\delta }^k$ ，相當於從第k+1層的δk+1$k+1層的{\delta }^{k+1}$ 中分配了一部分誤差過來，而這個分配的權重，就是前向傳播算法中使用的連接權重w$w$ ，所以這類似於一個反覆的過程。以下圖中的w11(2)$w_{11}(2)$ 爲例，誤差對它的偏導數爲:

∂E∂w11(2)=∂E∂a31∗∂a31∂w11(2)=δk1∗z21$$\frac{\mathrm{\partial }E}{\mathrm{\partial }{w}_{11}(2)}=\frac{\mathrm{\partial }E}{\mathrm{\partial }{a}_{31}}\ast \frac{\mathrm{\partial }{a}_{31}}{\mathrm{\partial }{w}_{11}(2)}={\delta }_1^k\ast z_{21}$$

又:

δk1=H′(a31)∗∑j=13δk+1j∗w1j(k)$${\delta }_1^k=H^{\mathrm{\prime }}(a_{31})\ast \sum _{j=1}^3{\delta }_j^{k+1}\ast w_{1j}(k)$$

可以看出w11(2)$w_{11}(2)$ 影響了a31$a_{3}1$ ，進而影響了z31$z_{3}1$ ，而z31$z_{31}$ 對後面的輸出{a41,a42,a43}$\{a_{41},a_{42},a_{43}\}$ 都有影響，並且是通過連接權重w1j(3)$w_{1j}(3)$ 來實現的;所以當有錯誤發生時，誤差也是通過相應的聯結權重w1j(3)$w_{1j}(3)$ 反向回去，分配錯誤。

所以反向傳播算法的完整過程如下:
1.初始化聯結權重wij$w_{ij}$ .
2.對於輸入的訓練樣本，求取每個節點輸出和最終輸出層的輸出值.
3.對輸出層求取δk=(yk−tk)∗H′(ak)${\delta }_k=(y_k-t_k)\ast H^{\mathrm{\prime }}(a_k)$
4.對於隱藏層求取δj=H′(ak)∗∑kδk∗wjk${\delta }_j=H^{\mathrm{\prime }}(a_k)\ast \sum _k{\delta }_k\ast w_{jk}$
5.求取輸出誤差對於每個權重的梯度:∂En∂wji=δj∗zi$\frac{\mathrm{\partial }{E}_n}{\mathrm{\partial }{w}_{ji}}={\delta }_j\ast z_i$
6.更新權重：wm+1=wm+α∂E∂w$w^{m+1}=w^m+\alpha \frac{\mathrm{\partial }E}{\mathrm{\partial }w}$